Вопросы по теме 'apache-nifi'
OkHttp Обновление с 2.5 до 2.6 ломает тесты HTTPS
Я работаю над обновлением Apache NiFi версии OkHttp с 2.5 до 2.6. При этом все тесты HTTPS терпят неудачу с этим исключением:
javax.net.ssl.SSLHandshakeException: Remote host closed connection during handshake
Тесты используют оболочку...
1971 просмотров
schedule
07.04.2022
Kafka Avro Consumer с проблемами декодера
Когда я попытался запустить Kafka Consumer с Avro над данными с моей соответствующей схемой, он вернул ошибка «AvroRuntimeException: неверные данные. Длина отрицательная: -40». Я вижу, что у других были похожие проблемы преобразование массива...
9176 просмотров
schedule
28.03.2023
Устранение проблемы с форматированием Json в Groovy: Apache NiFi ExecuteScript
Я работаю с Apache Nifi , и один из моих потоковых файлов - это слегка искаженный Json:
{
"field" : "value",
"field1" : "value1"
}0;0
Вместо того, чтобы жонглировать применявшимся ранее преобразованием, я хотел бы использовать скрипт Groovy...
1048 просмотров
schedule
01.02.2023
Соответствует только первому вхождению фразы
У меня есть следующий Json:
{"field1": "someText",
"field2": "Text Again",
"field3": "Text Again"}
Мне нужно будет сопоставить первое вхождение любой фразы, начинающейся с заглавной буквы (например, "Text Again")
Я написал следующее:...
1367 просмотров
schedule
30.04.2024
Ошибка зависимости при запуске приложения Spark, которое создает экземпляр приемника NiFi
Я пытался решить эту проблему некоторое время, но я не могу найти ответ. Я пишу простое приложение Spark на Scala, которое создает экземпляр приемника NiFi, и хотя оно успешно строится с помощью SBT, я получаю следующую ошибку при попытке запустить...
938 просмотров
schedule
21.12.2022
Опция Multi Value в процессоре Apache Nifi
Я проектировал на своем собственном процессоре. Я добавил в него пару простых дескрипторов свойств с простыми непустыми валидаторами. Я искал валидатор, с помощью которого я могу добавить несколько значений в один дескриптор свойства. Что-то вроде...
215 просмотров
schedule
28.08.2023
NiFi | Служба контроллера не обновляется
Я создал образец службы контроллера - MyControllerService, упаковал его в nar и вставил в каталог nifi lib. Я перезапустил службу nifi, чтобы увидеть изменения. Я смог увидеть MyControllerService в настройке контроллера. После этого я сделал...
190 просмотров
schedule
15.02.2022
Nifi Encrypt json
Я хотел бы использовать nifi для шифрования атрибутов в json, но не ключей, поскольку я хотел бы загрузить данные на сервер mongodb. Есть ли способ сделать это? Для проекта я использовал данные Twitter в качестве доказательства концепции. До сих...
1188 просмотров
schedule
18.02.2022
Импорт модулей в Nifi ExecuteScript
Я новичок в Nifi и python
я хочу выполнить свой скрипт python. Поэтому использовал ExecuteScript и пытался импортировать определенные модули. Я импортировал вот так:
import json, sftp, paramiko
Хотя у меня установлен sftp, когда я...
7430 просмотров
schedule
28.11.2023
MergeContent не синхронизируется NIFI
Я использую процессор MergeContent в Nifi, чтобы объединить два Flow-файла в один большой объект JSON. До сих пор я сделал следующее: Итак, мой контент слияния выполняется с использованием атрибута UUID
Моя проблема в том, что этот...
979 просмотров
schedule
17.02.2022
Apache Nifi Поместите данные в ElasticSearch с _Parent
Я работаю с Apache Nifi и пытаюсь поместить данные в ElasticSearch с помощью процессора PutElasticsearch, и это сработало довольно хорошо, так как я попытался добавить отношение дочерний / родительский в elasticsearch и поэтому добавить родительский...
579 просмотров
schedule
22.08.2022
Как лучше всего загружать данные в Hive с помощью NiFi?
Я начал работать с NiFi. Я работаю над вариантом использования для загрузки данных в Hive. Я получаю CSV-файл, а затем использую SplitText для разделения входящего потокового файла на несколько потоковых файлов (разделение записи на запись). Затем...
5533 просмотров
schedule
17.12.2022
Нифи не удалось записать в поток FileSystemRepository
У меня есть поток, в котором я использую процессор getFile. Входной каталог - это точка монтирования сети. Когда я тестирую поток на небольших файлах (менее 1 ГБ), он работает хорошо. Когда я тестирую его на больших файлах (более 1 ГБ), я получаю...
1658 просмотров
schedule
31.07.2022
NiFi - пользовательский процессор orc выдает NoClassDefFoundError для класса org.apache.hadoop.hdfs.DistributedFileSystem
Я пытаюсь разработать собственный процессор в Apache NiFi, который напрямую записывает файлы orc в удаленный кластер Hadoop. Чтобы написать их, я использую orc core API . Я попытался записать файлы на локальную ФС, и они в порядке: улей, который...
230 просмотров
schedule
26.06.2022
Получение listFTP с определенными преемниками имени файла
Я пытаюсь выбрать, какие файлы получать с ftp по именам файлов и датам. Задание должно выбирать ftp-файлы с текущей датой в имени файла.
"INCOMING.D‹ ггммдд>
INCOMING.D170318
INCOMING.D170319
INCOMING.D170320
В моей старой настройке я бы...
89 просмотров
schedule
21.05.2024
NiFi JoltTransformJSON
NiFi выдает ошибку в процессоре JOLT - хотя тест внутри "продвинутого" интерфейса процессора работает безупречно!
Некоторые потоковые файлы преобразуются без ошибок, но большинство не работают, например:
JSON:
{
"abc": {...
1586 просмотров
schedule
19.05.2022
Ошибка при получении карты состояния в кластере с поддержкой Kerberos
HDP-2.5.3.0.
Пользовательский процессор использует State API для сохранения некоторых данных.
try {
stateMap = stateManager.getState(Scope.CLUSTER);
stateMapProperties = new HashMap<>(stateMap.toMap());
logger.debug("Retrieved the...
304 просмотров
schedule
23.04.2024
понять максимальное количество TCP-соединений в nifi
В nifi под процессором syslog есть один атрибут максимального количества TCP-соединений, а значение по умолчанию - 2. Я взглянул на исходный код:...
903 просмотров
schedule
26.06.2022
Akka Stream против Hive Stream
Я работаю над требованием, согласно которому нам нужно читать сообщения от Kafka и сохранять (сливать) в Hive. Я могу думать о множественной реализации с использованием разных технологий:
Поток Акка - где источник будет источником Кафки и тонуть...
361 просмотров
schedule
06.08.2022
как создать экземпляр шаблона в apache nifi через rest api
Я пытаюсь автоматизировать развертывание групп процессов apache nifi.
Шаги, которые у меня есть, следующие:
создать шаблон
скачать шаблон
загрузить шаблон
@ strzelecki.maciek,
Затем я пытаюсь использовать вызов API:
(...
1660 просмотров
schedule
21.02.2022
