Количество исполнителей Apache Spark

У меня есть приложение Spark на блоках данных, работающее на кластере из 32 узлов, по 16 ядер в каждом и 30 ГБ памяти. Я хотел изменить некоторые конфигурации сеанса, но независимо от того, что я изменю, я не могу создать больше исполнителей, чем 32 (как видно на странице исполнителей spark ui)? Эти конфиги я изменил:

spark.executor.instances
spark.executor.memory 
spark.executor.cores

Как я прочитал, максимальное количество одновременных задач должно быть 5, поэтому я хотел сделать 4 исполнителя на узел, каждый из которых использует 4 ядра... общее количество исполнителей - 128. Как я могу это сделать?

С уважением, Стефан


apache-spark databricks apache-spark-sql spark-dataframe
person datahack    schedule 19.10.2017    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Для сборки Spark последней версии мы можем задать параметры: --executor-cores и --total-executor-cores. общий исполнитель будет total-executor-cores/executor-cores

Попробуй это:

spark-submit  --executor-memory 4g --executor-cores 4 --total-executor-cores 512
person John    schedule 19.10.2017
comment
Привет. Проблема в том, что, как я знаю, вы не можете использовать искровую отправку в блокноте databricks. - person datahack; 20.10.2017
comment
Вы можете использовать spark-submit в пакетном режиме, т.е. с кластером заданий. - person chhantyal; 09.07.2018