Я пытался использовать Storm, который доступен с установкой Hortonworks 2.1, но чтобы избежать установки Hortonworks в дополнение к установке Cloudera (в которой есть Spark), я попытался найти способ использовать Storm в Cloudera.
Если можно использовать Storm и Spark на одной платформе, это сэкономит дополнительные ресурсы, необходимые для установки Cloudera и Hortonworks на машине.
Вы можете использовать Storm с установкой Cloudera. Вам придется установить его самостоятельно и поддерживать его в таком виде. Он не будет частью стека Cloudera, но это не должно мешать вам использовать его вместе с Hadoop, если он вам понадобится.
Вы можете использовать Storm на любой платформе поставщика. Тем не менее, вы должны учитывать управление штормовым кластером. Storm не является частью дистрибутива CDH. Cloudera Manager не управляет жизненным циклом сервисов и конфигураций Storm, а также не отслеживает кластер Storm, если только вы не хотите написать расширение Clouderea Manager самостоятельно. Напротив, если вы выберете поставщика, такого как HDP, инструмент управления Ambari на HDP предоставит все перечисленные выше функции управления.
Если у вас есть проект потоковой передачи на CDH, вам следует в первую очередь рассмотреть Apache Spark, поскольку он предоставляет одну и ту же модель программирования как для пакетной, так и для потоковой обработки. Вам не нужно изучать новый API. Однако потоковая передача Apache Spark является микропакетной. Таким образом, в случаях использования, требующих обработки в режиме реального времени с малой задержкой менее секунды, Storm больше подходит.
Вы можете использовать Storm вместе с Cloudera.
Все вышесказанное верно, но зачем вам?
Spark включает Spark Streaming, который позволяет обрабатывать рабочие нагрузки обработки данных и потоковой обработки/событий с помощью единого API. Spark/Streaming уже находится внутри CDH.
Итак, зачем обременять себя двумя разными API?
Вы можете установить Apache Storm на виртуальную машину Cloudera. Для базовой настройки и пробного запуска перейдите по ссылке ниже:
https://github.com/vrmorusu/StormOnClouderaVM/wiki/Apache-Storm-on-Cloudera-VM
Это должно помочь вам приступить к разработке приложений Storm на Cloudera VM.
