Zeppelin UI ООМ

У меня есть тяжелая задача в zeppelin, так что, когда я запускаю этот абзац несколько раз, страница состояния Zeppelin /jobs возвращает ошибку HTTP 500 с OOM.

Каковы возможные причины этого?

Я запускаю клиентский режим с искрой на пряже.


apache-spark apache-zeppelin
person totoromeow    schedule 14.03.2017    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Может быть много причин для OOM в искровом интерпретаторе Zeppelin. Одной из возможных причин является

  • Scala REPl внутри интерпретатора spark сохраняет все оцененные значения (переменные, анонимные функции и т. д.) в памяти (SI-4331)
scala> case class A()
defined class A

scala> new A() 
res0: A = A()
scala> new A() 
res1: A = A()

scala> List(1, 2, 3, 4).map(x => x+1) // anonymous function

Вы можете увеличить память драйвера, установив spark.driver.memory для искры в $SPARK_HOME/conf/spark-defaults.conf

  • в случае локальной искры вы можете установить ту же опцию на странице параметров интерпретатора (localhost:8080/#/interpreter, конфигурация интерпретатора искры)
  • если вы используете crontab в Zeppelin, вы можете использовать auto-restart interpreter on cron execution.
person 1ambda    schedule 14.03.2017