У меня есть кластер High Concurency с включенной интеграцией Active Directory. Время выполнения: Последняя стабильная версия (Scala 2.11), Python: 3.
Я подключил Azure Datalake, и когда я хочу прочитать данные, всегда в первый раз после запуска кластера я получаю:
com.databricks.backend.daemon.data.client.adl.AzureCredentialNotFoundException: Could not find ADLS Gen1 Token
При повторном запуске все работает нормально. Я читаю данные следующим образом:
df = spark.read.option("inferSchema","true").option("header","true").json(path)
Есть идеи, что не так?
Спасибо! Томек
