Я пытаюсь использовать крио-сериализацию с помощью: kryo.setRegistrationRequired(true); Я продолжаю получать следующую ошибку о том, что определенный класс не зарегистрирован: java.lang.IllegalArgumentException: Class is not registered:...

В проекте flink я использую щелчок класса case. case class click( date: LocalDateTime, stbId:String, channelId :Int) Этот класс заполнил наборы данных и отлично работал с датой java 8 java.time.LocalDateTime . После переключения на org.joda...

Возможно, в основном разработка использовала AVRO в качестве среды сериализации в схеме Kafka и Apache Storm. Но мне нужно обрабатывать самые сложные данные, и я обнаружил, что структура сериализации Kryo также успешно интегрируется в наш проект....

Я пытаюсь создать набор данных с некоторыми геоданными, используя Spark и Esri. Если Foo имеет только поле Point , это будет работать, но если я добавлю некоторые другие поля помимо Point , я получу ArrayIndexOutOfBoundsException. import...

Я реализую приложение Hazelcast, используя распределенную карту MAP в качестве записи. Мой JsonNodeSerializer выглядит так, как показано ниже. private final ObjectReader jsonNodeReader; private final ObjectWriter jsonNodeWriter; @Override public...

Я получаю объект protobuf от Kafka в своем приложении Spark (v1.6.1), которое использует сериализатор Kryo. Объект protobuf выглядит примерно так: private A() { abc_ = ""; xyz_ = ""; ... some more fields...

При работе с наборами данных в Spark нам нужно указать кодировщики для сериализации и десериализации объектов. У нас есть возможность использовать Encoders.bean(Class<T>) или Encoders.kryo(Class<T>) . Чем они отличаются и каковы...

При использовании Kryo обычно рекомендуется регистрировать классы, которые вы собираетесь сериализовать, чтобы имя класса не нужно было включать в сериализованные данные. Но в иерархии классов фактический класс реализации может быть неочевидным....

Я отправляю объект, который содержит большой трехмерный массив 2X45x45. В каждом слоте есть пользовательский объект, который я также зарегистрировал в Крионете. Кажется, что все в порядке, но пытаясь получить его, я продолжаю получать эту досадную...

Я новичок в Spark. Я использую 2.4.4 с крио. Задание spark запишет около 100 файлов деталей, а затем завершится сбоем, выдав следующее исключение Caused by: java.lang.IllegalArgumentException: Class is not registered:...