Вопросы по теме 'u-sql'
Планирование заданий Azure Data Lake Analytics u-sql
Есть ли способ автоматизировать задачи аналитики озера данных и запускать их по какому-то расписанию?
1386 просмотров
schedule
07.04.2023
Сбой задания U-SQL Azure Data Lake из-за ошибки: JM_FinalMetadataOperationUserError
Я выполнял задания U-SQL в Azure Data Lake, которые обновляют секционированные таблицы, и они выполняются успешно, но завершаются ошибкой на этапе "Завершение" с ошибкой "JM_FinalMetadataOperationUserError", трассировка стека выглядит следующим...
1158 просмотров
schedule
03.04.2023
Реальные истории U-SQL
Я делаю обзор архитектуры среды и возможностей U-SQL. Я много читал, кодировал и внедрял за последнюю неделю в тестовой среде. Я обеспокоен тем, что мой прием файлов происходит медленно при приеме файлов json. 150 файлов по 100 МБ каждый занимает...
83 просмотров
schedule
26.05.2024
Ограничение памяти в Azure Data Lake Analytics
Я реализовал собственный экстрактор для файлов NetCDF и загружаю переменные в массивы в памяти перед их выводом. Некоторые массивы могут быть довольно большими, поэтому мне интересно, каков предел памяти в ADLA. Есть ли какой-то максимальный объем...
445 просмотров
schedule
13.11.2022
Входной набор данных не работает
Я создал фабрику данных Azure для планирования сценария U-SQL с использованием действия DataLakeAnalyticsU-SQL. См. код ниже:
InputDataset
{
"name": "InputDataLakeTable",
"properties": {
"published": false,
"type": "AzureDataLakeStore",...
495 просмотров
schedule
31.07.2023
Вывод U-SQL в Azure Data Lake
Можно ли автоматически разбить таблицу на несколько файлов на основе значений столбцов, если я не знаю, сколько различных значений ключей содержится в таблице? Можно ли поместить значение ключа в имя файла?
3890 просмотров
schedule
04.10.2022
Схема звездочки, суррогатные ключи
У нас есть большие и широкие плоские файлы с данными телеметрии. Они приезжают каждый день.
Я собираюсь создать звездную схему в базе данных ADLA, которая будет заполнена данными из этих больших больших файлов. (похоже, ADLA DB предоставляет...
529 просмотров
schedule
02.02.2022
Выберите из EXTERNAL через оператор LOCATION
Я хотел бы написать запрос
@result =
SELECT * //Id, Test
FROM EXTERNAL MyAzureSQLDBDataSource LOCATION "dbo.test"
WHERE Test NOT LIKE "_C";
Но я получил ошибку:
Ошибка C# CS0103: имя «Тест» не существует в текущем контексте....
61 просмотров
schedule
27.02.2023
Модульное тестирование процедур U-SQL
Я пытаюсь понять, как писать и выполнять модульное тестирование U-SQL для процедур U-SQL. У вас есть пример или шаблон?
525 просмотров
schedule
30.07.2022
Порядок вызова процедуры U-SQL
Пусть у нас есть скрипт, состоящий из 3-х вызовов процедур:
mydb.myschema.PopulateDimensions(...)
mydb.myschema.PopulateFactTable(...)
mydb.myschema.UpdateStatistics(...)
Будут ли они выполняться в одном порядке или будут встроены в скрипт, и...
124 просмотров
schedule
13.08.2022
Влияет ли кластерный индекс в таблице U-SQL на параллелизм?
Мы работаем с таблицами U-SQL и у нас есть вопросы, связанные с кластерным индексом. В таблице U-SQL параллелизм управляется тем, как данные секционируются и распределяются. Влияет ли кластерный индекс на параллелизм в таблице U-SQL? Во-вторых, как...
211 просмотров
schedule
26.03.2024
Как опустить квалификатор текста в экстракторе json/csv при вставке строк в ADLA?
У меня есть файл типа csv/json, и я пытаюсь вставить его в таблицу в ADLA. Но мой столбец данных выглядит как «Nike», который должен быть как Nike (без кавычек).
Я пробовал использовать " quoting:true ", но это пока не позволяет пропустить...
217 просмотров
schedule
14.10.2022
VSTS частный агент VSBuild
У меня есть решение с проектом службы анализа и проектом USQL. На моем компьютере установлено сообщество VS2015. Решение идеально подходит для моей машины. Затем я хочу настроить VSTS CI для своего решения. Я пробовал использовать размещенный...
354 просмотров
schedule
06.02.2022
Вычисление разницы во времени в задании U-SQL Azure Data Lake Analytics
В нашем проекте нам приходится периодически вычислять агрегаты и дальнейшие расчеты на основе полученных входных данных.
Одним из частых требований является вычисление разницы во времени между определенными строками в нашем потоке входных данных....
1359 просмотров
schedule
25.10.2022
Основные вопросы по U-SQL + Python
Я только начинаю изучать, как интегрировать Python с U-SQL. Я работаю над этим примером:
REFERENCE ASSEMBLY [ExtPython];
DECLARE @myScript = @"
def get_mentions(tweet):
return ';'.join( ( w[1:] for w in tweet.split() if w[0]=='@' ) )...
841 просмотров
schedule
07.11.2023
Как обрабатывать внутренний Json при использовании JsonOutputter
Я конвертирую некоторые файлы csv в Json, используя JsonOutputter. В файлах csv у меня есть поле, содержащее Json, подобное этому (символ вертикальной черты является разделителем): ...|{ "type": "Point", "coordinates": [ 18.7726, 74.5091 ] }|......
184 просмотров
schedule
03.07.2023
Как повысить производительность при копировании данных из cosmosdb?
Теперь я пытаюсь скопировать данные из cosmosdb в хранилище озера данных с помощью фабрики данных.
Однако производительность оставляет желать лучшего, около 100 КБ / с, а объем данных составляет 100+ ГБ и продолжает увеличиваться. На это уйдет 10+...
1191 просмотров
schedule
29.03.2022
Параллельное чтение U-SQL из таблицы SQL
У меня есть сценарий, в котором я загружаю данные из базы данных MS SQL в Azure Data Lake с помощью U-SQL. Моя таблица довольно большая, с более чем 16 миллионами записей (скоро их будет намного больше). Я просто делаю SELECT a, b, c FROM...
180 просмотров
schedule
28.04.2022
Создайте представление с идентификатором в качестве переменной на u-sql
Я хотел бы создать представление с помощью U-SQL. Имя представления можно определить только во время компиляции с помощью функции DECLARE.
Visual Studio выдает синтаксическую ошибку, когда я пытаюсь использовать переменную в инструкции создания...
182 просмотров
schedule
17.11.2022
Azure/U-SQL — ORDER BY в ROW_NUMBER()
Я создаю сценарий U-SQL с несколькими промежуточными таблицами. Я хотел бы назначить ROW_NUMBER() на основе порядка одного из столбцов, но не могу понять, как это сделать.
@t = SELECT *
FROM(
VALUES
( 1,...
435 просмотров
schedule
14.08.2023
