Запустить Spark с дополнительным параметром через Zeppelin

Я хочу, чтобы Zeppelin запускал Spark с парой дополнительных параметров (--total-executor-cores 200 --executor-memory 20g --driver-memory 5g). Я пытаюсь добавить эти параметры в интерпретатор искры через пользовательский интерфейс Zeppelin. Я нажимаю кнопку редактирования и добавляю эти три параметра, но когда я нажимаю «Сохранить», они исчезают, и я вижу, что мой Spark был запущен Zeppelin без этих параметров.

Не могли бы вы подсказать, как я могу попросить Zeppelin запустить Spark с дополнительными параметрами?


person Andrei Stankevich    schedule 13.11.2015    source источник


Ответы (1)


Взгляните на conf/zeppelin-env.sh (или conf/zeppelin-env.sh.template). В комментариях к этому файлу в разделе «Конфигурации интерпретатора Spark»:

# export SPARK_SUBMIT_OPTIONS                   # (optional) extra options to pass to spark submit. eg) "--driver-memory 512M --executor-memory 1G".
person Greg    schedule 16.11.2015