Как отправить ключ сообщения с уникальным идентификатором (eventID / UUID / filename) из Nifi в тему Kafka и увидеть в журналах kafka

Я пытаюсь отправить сообщение (файл json) в тему Kafka (опубликовать) и использовать имя файла или uuid в качестве ключа kafka, чтобы я мог отслеживать его в журналах. сообщение отправляется и используется позже, но я не могу отследить ключ в журналах, чтобы я мог отследить и идентифицировать сообщения. Цель состоит в том, чтобы иметь уникальный идентификатор для каждого сообщения (используя разные имя файла / uuid для каждого события).

Я попытался использовать процесс evaluteJsonPath в Nifi, чтобы добавить имя файла в качестве атрибута, чтобы его можно было использовать, но все еще не смог найти ничего в журналах kafka. Вдобавок я изменил конфигурацию на режим отладки в журналах kafka =, но это не помогло

введите описание изображения здесь

введите описание изображения здесь


person Ayoub E. Awabde    schedule 21.05.2019    source источник


Ответы (1)


Все потоковые файлы уже имеют атрибут с именем filename, поэтому вам не нужно использовать EvaluateJsonPath, если вы не хотите перезаписать атрибут имени файла чем-то другим, поступающим из json.

Все потоковые файлы также имеют атрибут uuid, поэтому вы можете использовать любой из них в процессоре публикации kafka.

Конфигурация публикации kafka выглядит правильной с точки зрения ссылки на $ {filename}, но я понятия не имею, что kafka регистрирует.

person Bryan Bende    schedule 21.05.2019