Не удается запустить кластер Apache Kafka из-за исключения NoNodeException

Я пытаюсь запустить сеанс потоковой передачи искр, который потребляет из очереди Kafka, и я использую Zookeeper для config mgt. Однако, когда я пытаюсь запустить, возникает следующее исключение.

18/03/26 09:25:49 INFO ZookeeperConnection: Checking Kafka topic core-data-tickets does exists ...

18/03/26 09:25:49 INFO Broker: Kafka topic core-data-tickets exists
18/03/26 09:25:49 INFO Broker: Processing topic : core-data-tickets
18/03/26 09:25:49 WARN ZookeeperConnection: Resetting Topic Offset
org.I0Itec.zkclient.exception.ZkNoNodeException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /consumers/clt/offsets/core-data-tickets/4
    at org.I0Itec.zkclient.exception.ZkException.create(ZkException.java:47)
    at org.I0Itec.zkclient.ZkClient.retryUntilConnected(ZkClient.java:685)
    at org.I0Itec.zkclient.ZkClient.readData(ZkClient.java:766)
    at org.I0Itec.zkclient.ZkClient.readData(ZkClient.java:761)
    at kafka.utils.ZkUtils$.readData(ZkUtils.scala:443)
    at kafka.utils.ZkUtils.readData(ZkUtils.scala)
    at net.core.data.connection.ZookeeperConnection.readTopicPartitionOffset(ZookeeperConnection.java:145)

Я уже создал соответствующую тему Кафки.

Мы будем очень признательны за любые идеи по этому поводу.

#

Я использую следующий код для запуска искрового задания

spark-submit --class net.core.data.compute.Broker     --executor-memory 512M     --total-executor-cores 2     --driver-java-options "-Dproperties.path=/ebs/tmp/continuous-loading-tool/continuous-loading-tool/src/main/resources/dev.properties"  --conf spark.ui.port=4045   /ebs/tmp/dev/data/continuous-loading-tool/target/continuous-loading-tool-1.0-SNAPSHOT.jar

java apache-kafka apache-spark spark-streaming apache-zookeeper
person Infamous    schedule 26.03.2018    source источник
comment
Можете ли вы опубликовать команду, которая вызывает эту ошибку?   -  person Giorgos Myrianthous    schedule 26.03.2018
comment
@GiorgosMyrianthous обновлено   -  person Infamous    schedule 26.03.2018
comment
Когда в последний раз группа совершала смещения и каково значение offsets.retention.minutes?   -  person Giorgos Myrianthous    schedule 26.03.2018

Ответы (1)


arrow_upward
2
arrow_downward

Я предполагаю, что эта ошибка связана с сохранением смещений. По умолчанию смещения хранятся всего 1440 минут (т. Е. 24 часа). Следовательно, если группа не совершила зачетов в течение дня, у Кафки не будет информации об этом.

Возможный обходной путь - установить значение offsets.retention.minutes соответственно.

offsets.retention.minutes

Смещения старше этого срока хранения будут отброшены.

person Giorgos Myrianthous    schedule 26.03.2018
comment
offsets.retention.minutes = 86400000 - person Infamous; 26.03.2018
comment
В терминале ZK какой ответ от ls /consumers/clt/offsets/core-data-tickets/4? - person Giorgos Myrianthous; 26.03.2018
comment
Я получаю это [zk: localhost: 2181 (ПОДКЛЮЧЕНО) 4] ls / consumer / clt / offsets / core-data-Tickets / 4 [] - person Infamous; 26.03.2018
comment
В любом случае, я вручную создал core-data-ticket / 4, и он сработал .. Спасибо, чувак, за то, что помог мне пройти через - person Infamous; 26.03.2018