Вопросы по теме 'azure-data-lake-gen2'
Есть ли реальное использование назначаемой пользователем управляемой идентификации, если все мои ресурсы находятся в одной подписке?
Я пытаюсь создать кластер HDInsight в определенной подписке. Теперь тип хранилища по умолчанию, который я выбираю, имеет тип ADLS Gen2, и экземпляр хранилища существует в той же подписке (пользовательский интерфейс здесь в любом случае будет...
534 просмотров
schedule
17.09.2023
ADLS Gen 2 Storage API - отказ от Http-глаголов
У меня проблема с некоторыми конечными точками в ADLS Gen 2 API Операции с путями.
Я могу без проблем создавать, перечислять, получать свойства и удалять файловые системы.
Однако после добавления каталога в файловую систему некоторые команды...
211 просмотров
schedule
29.05.2022
Как получить доступ к файлу .txt, который присутствует в Azure datalake gen2, напрямую без загрузки
Как получить доступ к файлу .txt, который присутствует в Azure datalake gen2, напрямую без загрузки. Я смог загрузить и прочитать его, но есть ли способ напрямую прочитать файл из gen2 напрямую.
Я использовал метод read_file DataLakeFileClient (),...
99 просмотров
schedule
25.06.2023
Подключение учетной записи хранения datalake 2 к рабочей области аналитики журнала
У меня есть учетная запись хранения datalake Gen2. Мне нужно подключить журналы моей учетной записи хранения к рабочей области Log Analytics.
Но нет меню Настройки диагностики , поэтому я не знаю, как это сделать.
Я думаю, что это...
416 просмотров
schedule
16.10.2023
Шаблон проектирования DataLake Power BI
У нашего клиента есть общая проблема с множеством распределенных хранилищ данных с различными технологическими стеками. Затем конечная цель - собрать вместе определенные части данных для создания подробных отчетов с помощью Microsoft Power BI.
Есть...
23 просмотров
schedule
16.10.2023
Публикация из PowerShell непосредственно в Data Lake Storage или вывод в качестве приемника для ADF
У меня есть сценарий PowerShell, который загружает журналы аудита из Azure. Функция Export-CSV выводит файл на мой локальный компьютер. Однако я планирую запускать этот сценарий каждую ночь с помощью фабрики данных Azure, а затем выводить файл...
143 просмотров
schedule
01.04.2023
Доступ к Power BI Dataflow в сети ограничен Учетная запись хранения Azure
Я использую потоки данных Power BI для доступа к электронным таблицам в хранилище BLOB-объектов. Я настроил разрешения IAM для учетной записи хранения для себя и пользователя службы Power BI. Для конфигурации сети задано значение « Разрешить...
526 просмотров
schedule
13.02.2023
Сохранение одного файла json из концентратора azure iot в datalake2
Я добавил iot hub и устройства. Все данные из iot-хаба сохраняются в озере данных 2 в формате json. Работает нормально, но если с устройства одновременно поступает несколько сообщений, оно сохраняется в одном json. Неприятности вызывает ... Есть ли...
65 просмотров
schedule
26.12.2023
Как добавить в учетную запись хранения Azure (Gen2) AppendBlob без конфликта (409)
У меня есть метод, который принимает каталог больших двоичных объектов и поток текста в памяти, который необходимо читать построчно и добавлять в Azure AppendBlob. Моя учетная запись хранения - это универсальная версия 2 (стандартный / горячий...
233 просмотров
schedule
13.11.2022
Почему приложение Java Azure Function зависает при попытке доступа к данным Azure?
Я разрабатываю функцию Java Azure, которой необходимо загрузить файл из Azure Datalake Gen2. Когда функция пытается прочитать файл, он зависает, исключение не создается, и в консоль ничего не записывается.
Я использую SDK...
164 просмотров
schedule
19.07.2023
Запись данных в Azure Data Lake Store - сценарии Powershell
Мне нужно записать данные в хранилище озера данных Azure, а не на мой локальный диск D: \. Я пытаюсь получить информацию о триггерах ADF через PowerShell и хочу загрузить данные в контейнер озера данных Azure в каталог, а не в хранилище больших...
171 просмотров
schedule
14.01.2022
Доступ к хранилищу ADLS Gen 2 из Databricks
Я пытаюсь прочитать файлы в хранилище ADLS Gen 2 из записной книжки Databricks с помощью Python.
Однако для контейнера хранения установлен уровень публичного доступа «Частный».
У меня есть доступ к участнику учетной записи хранения и участнику...
78 просмотров
schedule
30.12.2022
Просмотр большого количества файлов в Azure Storage Explorer
У меня есть большое количество файлов в одной из наших папок озера данных. Я использую Azure Storage Explorer для поиска\скачивания определенных файлов. Если мне нужны последние файлы, что обычно и бывает, я просматриваю все страницы, чтобы...
129 просмотров
schedule
05.07.2022
Обработка upserts на большом количестве разделов выполняется недостаточно быстро
Проблема
У нас есть установка Delta Lake поверх ADLS Gen2 со следующими таблицами:
bronze.DeviceData : разделены по дате прибытия ( Partition_Date )
silver.DeviceData : разделены по дате и часу события ( Partition_Date и Partition_Hour )...
316 просмотров
schedule
05.05.2024
Ошибка большого двоичного объекта Azure: указанный большой двоичный объект не существует, но большой двоичный объект присутствует
У меня возникла ошибка после запуска моей лазурной функции, которая используется для чтения лазурного хранилища больших двоичных объектов.
Ошибка
ID 0dad768d-36d4-4c1a-85ae-2a5122533b3c
fail: Function.processor.User[0]
Traceback (most...
326 просмотров
schedule
23.05.2024
Как предотвратить попадание повторяющихся записей в дельта-озеро хранилища Azure
У меня есть Dataframe, хранящийся в формате дельты в Adls, теперь, когда я пытаюсь добавить новые обновленные строки в это озеро дельты, это должно быть, есть ли способ, где я могу удалить старую существующую запись в дельте и добавить новую...
79 просмотров
schedule
04.08.2022
Как эффективно читать метаданные файлов озера данных
Я хочу прочитать дату и время последнего изменения файлов в озере данных в сценарии databricks. Если бы я мог эффективно читать его как столбец при чтении данных из озера данных, это было бы идеально. Спасибо :)
67 просмотров
schedule
03.03.2024
