Удаленный кластер Apache Spark на ноутбуках JupyterHub на k8s

У меня есть :

Apache Spark: 2.4.4

JupyterHub: 1.1.0

Версия Helm-диаграммы: 0.9.0

K8S : 1.15

Я создаю Jupyterhub на k8s с официальным документом: https://zero-to-jupyterhub.readthedocs.io/

Я использую официальный образ Spark для выполнения некоторых локальных задач: jupyter / all-spark-notebook: latest

Spark хорошо работает в локальном режиме.

Но я хочу использовать блокнот JupyterHub для выполнения некоторых задач в удаленном (самодельном) кластере Apache Spark (с K8s в качестве оркестратора).

Я уже пробовал Apache Zeppelin, работает хорошо! но я хочу сделать то же самое с Jupyterhub.

Как я могу это сделать ?


jupyter-notebook kubernetes apache-spark jupyterhub
person sacha.p    schedule 01.12.2020    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Я понимаю твою боль. Я трачу много времени на создание искрового кластера + работу сервера jupyter.

Попробуйте использовать мой докер -compose.yaml.

docker-compose up -d

Для запуска токена jupyter:

docker-compose logs jupyter

Скопируйте URL-адрес, начинающийся с 127.0.0.1, включая токен, и поместите в свой браузер. Измените порт на 7777.

Вы увидите пустую страницу jupyter. Создайте новую записную книжку и запустите ячейку, как показано на рисунке новый блокнот с искровой оболочкой

Наслаждайтесь использованием jupyter с Spark ...

Надеюсь, это тебе поможет.

person ozlevka    schedule 06.12.2020
comment
Очень интересно, но, к сожалению, не помогает мне решить мою проблему :(. По крайней мере, интеграция с docker-compose довольно проста - person sacha.p; 08.12.2020