Пример Flink Streaming: Kafka010Example.scala не работает

Я пытаюсь запустить официальный «Kafka010Example.scala», но, к сожалению, он не читает из входной темы и не записывает в вывод, как ожидалось. Что я упускаю или делаю неправильно? Любая помощь или подсказки высоко ценятся. Вот что я сделал:

  1. Запустил kafka в докер-контейнере (spotify/kafka:latest)

    $ docker run -d -p 2181:2181 -p 9092:9092 spotify/kafka:latest

  2. Начал сеанс bash внутри контейнера:

    $ docker exec -it 26d1cfced4cb /bin/bash

  3. Созданы входные и выходные темы:

    $ /opt/kafka_2.11-0.10.1.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test-input

    $ /opt/kafka_2.11-0.10.1.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test-output

  4. Запущен "Kafka010Example.scala" под управлением flink 1.3.2 в локальном режиме (MiniCluster) с flink-connector-kafka-0.10_2.11

    со следующими аргументами: --input-topic test-input --output-topic test-output --bootstrap.servers localhost:9092 --zookeeper.connect localhost:2181 --group.id myconsumer

  5. Логи: https://file.io/jWsqI8

  6. Отправил несколько сообщений в тему:

    $ /opt/kafka_2.11-0.10.1.0/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test-input

    blah

    blahh

    blahhh

  7. Проверил смещение по выходной теме - НИЧЕГО

    $ /opt/kafka_2.11-0.10.1.0/bin/kafka-consumer-offset-checker.sh --zookeeper localhost:2181 --group myconsumer --topic test-output

    Group           Topic                          Pid Offset          logSize         
Lag             Owner
myconsumer      test-output                    0   0               0               
0               none

  8. Проверить смещение группы потребителей - НИЧЕГО

    $ /opt/kafka_2.11-0.10.1.0/bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group myconsumer

    No topic available for consumer group provided
GROUP                          TOPIC                          PARTITION  
CURRENT-OFFSET  LOG-END-OFFSET  LAG             OWNER

apache-kafka apache-flink flink-streaming
person wojtkom1    schedule 14.10.2017    source источник
comment
Хорошо, я решил проблему, и она была полностью связана с экземпляром Kafka, который я использовал, пример Flink работает, как и ожидалось. @alpinegizmo Спасибо, что указали на это, я изначально проверил с потребителем консоли, как вы предложили, но забыл добавить этот шаг в процедуру. (между пунктами 6 и 7)   -  person wojtkom1    schedule 22.10.2017

Ответы (2)


arrow_upward
0
arrow_downward

Предлагаю использовать console-consumer для просмотра темы test-out. Я бы не ожидал, что смещение для темы тестового вывода продвинется вперед, поскольку никто не читал ее.

person David Anderson    schedule 21.10.2017

arrow_upward
0
arrow_downward

Шаг 7 должен быть:

$ /opt/kafka_2.11-0.10.1.0/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --group myconsumer --topic test-output
person BoIde    schedule 17.05.2018