Установите пакет Maven в кластере заданий Databricks

Я хочу использовать пакет maven в задании Databricks, которое должно выполняться в новом автоматизированном кластере. Обычные интерактивные кластеры имеют возможность установить пакет maven. Эта установка разрешает все зависимости этого пакета. В автоматическом кластере вы можете назначить загруженные jar-файлы для установки при запуске кластера.

Моя проблема в том, что зависимости этой банки отсутствуют. Конечно, я могу загрузить их и добавить в кластер, но дерево зависимостей кажется довольно большим. Могу я просто скачать банку со всеми включенными зависимостями (не нашел)? Или я могу установить свой пакет другим способом?

Мне нужен пакет azure-eventhubs-spark.


person Nick    schedule 11.08.2020    source источник


Ответы (1)


Наконец нашел решение.

Чтобы добавить пакет maven к заданию (-cluster), вы должны создать библиотеку в своей рабочей области. На начальной странице пользовательского интерфейса Databricks выберите «Импортировать библиотеку», затем создайте нужный пакет maven. Этот пакет можно загрузить как зависимость в настройках задания.

Было своего рода очевидным решением, но я никогда не создавал библиотеку в блоках данных и поэтому не знал об этой опции.

person Nick    schedule 11.08.2020
comment
Привет, @Nick! Рад сообщить, что проблема решена. Вы можете принять его как ответ (нажмите на галочку рядом с ответом, чтобы переключить его с серого на заполненный). Это может быть полезно для других членов сообщества. Спасибо. - person CHEEKATLAPRADEEP-MSFT; 12.08.2020