Вопросы по теме 'azure-data-lake'
Озеро данных Azure: запрос к хранилищу озера данных Azure был несанкционированным
Мы пытаемся переместить наши данные из хранилища таблиц Azure в озеро данных Azure. Итак, мы создали фабрику данных (со связанными службами, наборами данных и конвейером). Конвейер создается с помощью действия копирования.
Одну из связанных служб...
5916 просмотров
schedule
19.10.2023
Разница в microsoft azure между кластером и учетной записью хранения
Я учусь на . Он просит создать новый кластер hdinsight (варианты: hadoop, hbase, storm или spark), а также учетную запись хранения. В чем разница между кластером и учетной записью хранения? Включает ли кластер процессоры для обработки моих заданий...
1158 просмотров
schedule
30.05.2024
Планирование заданий Azure Data Lake Analytics u-sql
Есть ли способ автоматизировать задачи аналитики озера данных и запускать их по какому-то расписанию?
1386 просмотров
schedule
07.04.2023
Сбой задания U-SQL Azure Data Lake из-за ошибки: JM_FinalMetadataOperationUserError
Я выполнял задания U-SQL в Azure Data Lake, которые обновляют секционированные таблицы, и они выполняются успешно, но завершаются ошибкой на этапе "Завершение" с ошибкой "JM_FinalMetadataOperationUserError", трассировка стека выглядит следующим...
1158 просмотров
schedule
03.04.2023
Ограничение памяти в Azure Data Lake Analytics
Я реализовал собственный экстрактор для файлов NetCDF и загружаю переменные в массивы в памяти перед их выводом. Некоторые массивы могут быть довольно большими, поэтому мне интересно, каков предел памяти в ADLA. Есть ли какой-то максимальный объем...
445 просмотров
schedule
13.11.2022
Входной набор данных не работает
Я создал фабрику данных Azure для планирования сценария U-SQL с использованием действия DataLakeAnalyticsU-SQL. См. код ниже:
InputDataset
{
"name": "InputDataLakeTable",
"properties": {
"published": false,
"type": "AzureDataLakeStore",...
495 просмотров
schedule
31.07.2023
Как прочитать файл, присутствующий в Azure Data Lake Store, с помощью команд оболочки azure power?
Есть ли способ прочитать данные файла, присутствующие в хранилище озера данных Azure, с помощью командлетов azure powershell?
1055 просмотров
schedule
23.12.2022
Вывод U-SQL в Azure Data Lake
Можно ли автоматически разбить таблицу на несколько файлов на основе значений столбцов, если я не знаю, сколько различных значений ключей содержится в таблице? Можно ли поместить значение ключа в имя файла?
3890 просмотров
schedule
04.10.2022
Схема звездочки, суррогатные ключи
У нас есть большие и широкие плоские файлы с данными телеметрии. Они приезжают каждый день.
Я собираюсь создать звездную схему в базе данных ADLA, которая будет заполнена данными из этих больших больших файлов. (похоже, ADLA DB предоставляет...
529 просмотров
schedule
02.02.2022
Выберите из EXTERNAL через оператор LOCATION
Я хотел бы написать запрос
@result =
SELECT * //Id, Test
FROM EXTERNAL MyAzureSQLDBDataSource LOCATION "dbo.test"
WHERE Test NOT LIKE "_C";
Но я получил ошибку:
Ошибка C# CS0103: имя «Тест» не существует в текущем контексте....
61 просмотров
schedule
27.02.2023
Модульное тестирование процедур U-SQL
Я пытаюсь понять, как писать и выполнять модульное тестирование U-SQL для процедур U-SQL. У вас есть пример или шаблон?
525 просмотров
schedule
30.07.2022
Порядок вызова процедуры U-SQL
Пусть у нас есть скрипт, состоящий из 3-х вызовов процедур:
mydb.myschema.PopulateDimensions(...)
mydb.myschema.PopulateFactTable(...)
mydb.myschema.UpdateStatistics(...)
Будут ли они выполняться в одном порядке или будут встроены в скрипт, и...
124 просмотров
schedule
13.08.2022
Влияет ли кластерный индекс в таблице U-SQL на параллелизм?
Мы работаем с таблицами U-SQL и у нас есть вопросы, связанные с кластерным индексом. В таблице U-SQL параллелизм управляется тем, как данные секционируются и распределяются. Влияет ли кластерный индекс на параллелизм в таблице U-SQL? Во-вторых, как...
211 просмотров
schedule
26.03.2024
Как опустить квалификатор текста в экстракторе json/csv при вставке строк в ADLA?
У меня есть файл типа csv/json, и я пытаюсь вставить его в таблицу в ADLA. Но мой столбец данных выглядит как «Nike», который должен быть как Nike (без кавычек).
Я пробовал использовать " quoting:true ", но это пока не позволяет пропустить...
217 просмотров
schedule
14.10.2022
Вычисление разницы во времени в задании U-SQL Azure Data Lake Analytics
В нашем проекте нам приходится периодически вычислять агрегаты и дальнейшие расчеты на основе полученных входных данных.
Одним из частых требований является вычисление разницы во времени между определенными строками в нашем потоке входных данных....
1359 просмотров
schedule
25.10.2022
Как программно сгенерировать идентификатор сеанса и токены авторизации для связанной службы?
У меня есть связанная служба, для которой требуется авторизация и идентификатор сеанса. Цель состоит в том, чтобы создать проект ADF локально и отправить его в Azure через конвейер VSTS CI / CD. Всякий раз, когда я развертываю проект с помощью...
606 просмотров
schedule
12.02.2024
Основные вопросы по U-SQL + Python
Я только начинаю изучать, как интегрировать Python с U-SQL. Я работаю над этим примером:
REFERENCE ASSEMBLY [ExtPython];
DECLARE @myScript = @"
def get_mentions(tweet):
return ';'.join( ( w[1:] for w in tweet.split() if w[0]=='@' ) )...
841 просмотров
schedule
07.11.2023
Возможна ли проверка подлинности Azure с помощью команды Adlcopy с помощью сертификатов, а не со страницы входа в Azure?
Я пытаюсь скопировать файлы в озере данных Azure из одной папки в другую с помощью команды adlcopy. Когда я когда-либо нажимаю команду, она открывает страницу входа в Azure для аутентификации. Можно ли сделать эту аутентификацию через сертификат?
179 просмотров
schedule
24.11.2022
Сбой задания USQL из-за превышения ограничения длины пути
Я выполняю свои задания локально, используя Local SDK. Однако я получаю следующее сообщение об ошибке:
Error : 'System.IO.PathTooLongException: The specified path, file name, or both are too long. The fully qualified file name must be less than...
542 просмотров
schedule
13.11.2023
Как обрабатывать внутренний Json при использовании JsonOutputter
Я конвертирую некоторые файлы csv в Json, используя JsonOutputter. В файлах csv у меня есть поле, содержащее Json, подобное этому (символ вертикальной черты является разделителем): ...|{ "type": "Point", "coordinates": [ 18.7726, 74.5091 ] }|......
184 просмотров
schedule
03.07.2023
