Публикации по теме 'apache-storm'
Веб-парсинг и индексирование с помощью StormCrawler и Elasticsearch
Совсем недавно я начал работать над требованием, которое заключается в добавлении компонента поиска на каждый веб-сайт, который клиенты публикуют через наше приложение. Чтобы добавить компонент поиска на веб-сайт, сложной задачей было бы очистить данные веб-сайта и соответствующим образом их проиндексировать. На этом этапе я провел небольшое исследование существующих веб-сканеров, поисковых индексов и, основываясь на результатах, решил использовать StormCrawler, который представляет..
Вопросы по теме 'apache-storm'
Как выбрать, какой источник потока нужно обрабатывать в Storm?
Я борюсь с одной вещью в Storm. Итак, вся идея такова:
Отправить запрос в шторм (вероятно, на DRPC Server). Запрос сообщит Storm, что является источником потоков. Например: Представьте, что у меня есть два файла 1 - '/var/log/syslog' и 2- '...
439 просмотров
schedule
20.10.2023
Перенести данные из Oracle в HDFS, обработать и переместить в Teradata из HDFS
Мое требование -
Перенести данные из Oracle в HDFS
Обработка данных на HDFS
Перенести обработанные данные в Teradata.
Также необходимо проделывать всю эту обработку каждые 15 минут. Объем исходных данных может быть близок...
14305 просмотров
schedule
13.06.2022
API тестирования Twitter Storm не инициализируется
Я обнаружил backtype.storm.Testing, читая это ТАК вопрос , и был взволнован, но я не смог заставить его работать, потому что, когда я на самом деле запускаю тесты (из Java), класс тестирования не загружается.
Я хотел использовать функции Testing,...
664 просмотров
schedule
18.10.2023
#Storm: как настроить разные метрики для одного и того же источника данных
Я пытаюсь настроить Storm для агрегирования потока, но с различными (доступными DRPC) метриками для одного и того же потока.
Например. поток состоит из сообщений, у которых есть отправитель, получатель, канал, по которому пришло сообщение, и шлюз,...
549 просмотров
schedule
02.11.2023
Локальный класс InvalidClassException несовместим при запуске топологии шторма
Мое приложение Storm, работающее с одной топологией, отлично работает в локальном режиме, но при работе в распределенной среде я получаю эти исключения в своих рабочих журналах. Это одно и то же исключение, но оно относится к двум разным классам....
1607 просмотров
schedule
25.07.2023
соответствие между supervisor.slots.ports storm.yaml и вызовом метода Config.setNumWorkers(#workers)
другие пользователи Storm:
Рекомендации по настройке штормового кластера ( https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster ) указывают, что свойство конфигурации supervisor.slots.ports должно быть установлено таким образом, что...
4283 просмотров
schedule
20.08.2023
Какой класс в storm определяет количество витков для каждого болта и носика?
Мне нужно знать, как Storm управляет количеством параллельных рабочих в каждом болте. ни класс IrichBolt, ни класс IRichSpout не реализуют класс Runnable. Мне действительно нужно знать, как шторм управляет многопоточностью?
788 просмотров
schedule
07.06.2024
Как Storm справляется с nextTuple in the Bolt
Я новичок в Storm и создал программу для чтения увеличенных чисел за определенное время. Я использовал счетчик в Spout, а в методе " nextTuple() " счетчик генерируется и увеличивается.
_collector.emit(new Values(new Integer(currentNumber++)));...
6701 просмотров
schedule
14.05.2024
Использование каталога tomcat штормом LocalCluster
Я экспериментировал с Apache Storm, ранее называвшимся Twitter Storm, и заметил, что при настройке локального кластера и развертывании приложения на сервере tomcat происходит чрезмерное использование временного каталога tomcat. Я создал проект,...
336 просмотров
schedule
27.07.2023
Штормовой Носик не получает подтверждение
Я начал использовать storm, поэтому создаю простую топологию с помощью этого руководства
Когда я запускаю свою топологию с LocalCluster и все выглядит нормально, моя проблема заключается в том, что я не получаю ACK на кортеж, что означает, что...
6696 просмотров
schedule
23.06.2022
Может ли twitter storm worker получить только часть топологии?
Предположим, что у вас есть следующая топология
носик
spout (sends tuple to )bolt1
bolt1 (sends tuple to) bolt2
и следующие настройки:
3 рабочих процесса
spout,parallel hint=1
bolt1, parallel hint=2
bolt2,parallel hint=3
мои...
341 просмотров
schedule
17.08.2023
ОШИБКА backtype.storm.daemon.executor - java.lang.NoClassDefFoundError: org/I0Itec/zkclient/serialize/ZkSerializer
Я делаю интеграцию kafka storm, и при выполнении кода storm я получаю эту ошибку
ERROR backtype.storm.util - Async loop died!
java.lang.NoClassDefFoundError: org/I0Itec/zkclient/serialize/ZkSerializer
at...
5372 просмотров
schedule
28.04.2023
прекратить обработку кортежа в определенном болте
Например, у меня есть топология, состоящая из 1 носика и 4 болтов.
spout A -> bolt B -> bolt C -> bolt E
-> bolt D
Только если какой-то условный оператор в болте B истинен, он передает кортеж болтам C и болтам D....
2782 просмотров
schedule
08.12.2022
Сериализация/десериализация полей перечисления Java
Введение
Я использую Apache Storm (локальный, а не удаленный режим) в своем проекте Java и при создании топологии Мне нужно передать объект одному из болтов
TopologyBuilder builder = new TopologyBuilder();
........
1264 просмотров
schedule
05.02.2023
Проблемы с производительностью: Kafka + Storm + Trident + OpaqueTridentKafkaSpout
Мы наблюдаем некоторые проблемы с производительностью с Kafka + Storm + Trident + OpaqueTridentKafkaSpout
Ниже указаны детали нашей установки:
Топология шторма:
Broker broker = Broker.fromString("localhost:9092")...
2733 просмотров
schedule
03.12.2022
Преобразование топологии Storm — wordCount для использования Kafka Spout
Я новичок в Storm и Kafka, и через некоторое время мне удалось установить оба на локальную виртуальную машину. В настоящее время у меня есть рабочая топология wordCount, принимающая предложения из текстового файла dropBox:
public void nextTuple()...
2570 просмотров
schedule
10.01.2024
Использование Storm в Cloudera
Я пытался использовать Storm, который доступен с установкой Hortonworks 2.1, но чтобы избежать установки Hortonworks в дополнение к установке Cloudera (в которой есть Spark), я попытался найти способ использовать Storm в Cloudera.
Если можно...
6954 просмотров
schedule
22.10.2023
Ошибка при запуске Supervisor (STORM)
Я получаю сообщение об ошибке «Ошибка при обработке события» всякий раз, когда я запускаю супервизора (шторма). Как мне избавиться от этой ошибки?
106 просмотров
schedule
29.04.2024
потоковая передача файлов журнала с помощью apache storm
Я новичок в storm, я хотел бы знать, есть ли какие-либо возможности для чтения файлов журнала сервера с помощью storm, если это возможно, как прочитать файл и как получить сообщения об ошибках, которые были записаны в файлы журнала.
395 просмотров
schedule
19.04.2023
Ошибка подключения диспетчера Storm при загрузке jar из nimbus
Я настраиваю штормовой кластер с несколькими узлами. Итак, у меня есть 3 узла zookeeper, 1 nimbus, 2 супервизора и 1 клиентский узел storm. Итак, когда я смотрю на свои конфигурации с zookeeper, nimbus, zookeeper и супервизором, все выглядит хорошо....
1958 просмотров
schedule
17.08.2022
