Доступ к хранилищу ADLS Gen 2 из Databricks

Я пытаюсь прочитать файлы в хранилище ADLS Gen 2 из записной книжки Databricks с помощью Python.

Однако для контейнера хранения установлен уровень публичного доступа «Частный».

У меня есть доступ к участнику учетной записи хранения и участнику данных хранилища больших двоичных объектов.

Как можно разрешить Databricks для чтения и записи в хранилище ADLS?


azure python-3.x azure-data-lake-gen2 azure-databricks
person learner    schedule 24.12.2020    source источник
comment
ссылались ли вы на документы? microsoft.com/en-us/azure/databricks/data/data-sources/ и docs.microsoft.com/en-us/azure/storage/blobs/   -  person Jim Xu    schedule 24.12.2020
comment
Измените свой вопрос, чтобы показать, что вы сделали в своей записной книжке, особенно подход, который вы использовали для подключения к ADLS.   -  person David Makogon    schedule 24.12.2020

Ответы (1)


arrow_upward
1
arrow_downward

Согласно предоставленной вами информации, _ 1_. У вас есть разрешение на получение ключа доступа к учетной записи хранения. Таким образом, мы можем использовать ключ доступа для аутентификации, после чего мы можем читать и писать в хранилище ADLS Gen 2. Дополнительные сведения см. В здесь

Например

spark.conf.set(
  "fs.azure.account.key.<storage-account-name>.dfs.core.windows.net",
  dbutils.secrets.get(scope="<scope-name>",key="<storage-account-access-key-name>"))
dbutils.fs.ls("abfss://<file-system-name>@<storage-account-name>.dfs.core.windows.net/<directory-name>")
person Jim Xu    schedule 30.12.2020