Я не могу включить искровую посылку в CDH5.4

Я использую CDH5.4 и хочу использовать искру, но не могу ее включить. Я получил эту ошибку «Зависимость не удовлетворена для редактирования SPARK (0.9.0-1.cdh4.6.0.p0.98): CDH (ниже, чем 5.0). Однако нормально ли, что последняя версия посылки искры 0.9 (http://archive.cloudera.com/spark/parcels/latest/ ) Заранее спасибо.


apache-spark cloudera cloudera-cdh cloudera-manager
person Cleo    schedule 10.07.2015    source источник
comment
вы используете посылки cdh4.6 с cdh5.4? как это должно работать???   -  person eliasah    schedule 10.07.2015
comment
Я установил последнюю версию Cloudera с помощью менеджера cloudera, который был CDH5.4.   -  person Cleo    schedule 15.07.2015
comment
потому что до 5.0 ставить искру нужно с помощью посылки! в 5.4 вы можете просто установить искру как сервис!   -  person eliasah    schedule 15.07.2015
comment
Да, он уже указан в моем списке сервисов, но как я могу выполнять искровые задания? нет пользовательского веб-интерфейса (как Hue например) ??   -  person Cleo    schedule 15.07.2015
comment
Я не уверен, поддерживает ли Hue запуск искровых заданий. Если вам нужно знать, как запустить искровую работу, я предлагаю вам прочитать официальную документацию! По сути, вам нужно запустить команду spark-submit для отправки задания в кластере.   -  person eliasah    schedule 15.07.2015
comment
Когда я нажимаю на службу Spark, меня перенаправляют на URL-адрес в порту 18088. У меня есть это сообщение: завершенные приложения не найдены! Вы указали правильный каталог журнала? Проверьте настройки spark.history.fs.logDirectory и наличие у вас прав доступа к нему. Также возможно, что ваше приложение не выполнилось до конца или не остановило SparkContext.   -  person Cleo    schedule 15.07.2015
comment
Прошу прощения за то немногое, что вы нам сообщаете, ваш вопрос не подлежит восстановлению! Вам нужно описать очистку того, что вы делаете. Мы не можем читать мысли.   -  person eliasah    schedule 15.07.2015
comment
Мой вопрос довольно прост; Как я могу запустить простой пример задания, используя Spark в Cloudera (CDH 5.4)? где я должен написать свой код?   -  person Cleo    schedule 15.07.2015
comment
а я вам отвечаю! Если вы не знаете, где можно написать код scala/java/python. Это еще одна проблема!   -  person eliasah    schedule 15.07.2015
comment
странная помощь!! Спасибо, в любом случае !   -  person Cleo    schedule 15.07.2015
comment
перейдите в чат chat.stackoverflow.com/rooms/info/83328/   -  person eliasah    schedule 15.07.2015

Ответы (2)


arrow_upward
2
arrow_downward

Раньше Spark упаковывался отдельно, что представляет собой пакет искр, который вы видите, а также содержимое http://archive.cloudera.com/spark/parcels/latest/.

Однако пакеты CDH5.4 поставляются в комплекте со Spark, поэтому вам не нужно устанавливать этот пакет! Это немного сбивает с толку, что он все еще указан.

person dpeacock    schedule 10.07.2015
comment
Как я могу запустить программу scala в CDH5.4? Я строю банку, я положил свой входной файл в Hdfs, но я пока не нашел, как запустить приложение. Это в Hue, как запуск задания уменьшения карты или отправка искры в оболочке? - person Cleo; 21.07.2015
comment
@Cleo Просто нажмите «Добавить службу», прокрутите вниз, и вы увидите службу Spark. Просто следуйте указаниям Мастера добавления службы. - person junwang; 11.11.2016

arrow_upward
0
arrow_downward

Я решил проблему, отредактировав hue.ini, добавив две строки:

[desktop] 
app_blacklist=

Второй шаг — запустить livy_server ;)

person Cleo    schedule 29.07.2015