Параллельное чтение U-SQL из таблицы SQL

Запросы к внешним источникам данных не распараллеливаются автоматически в U-SQL. (Это то, что мы рассматриваем на будущее)

Ответ wBob действительно дает один вариант для достижения примерно такого же эффекта - хотя он, конечно, требует, чтобы вы вручную разбивали и запрашивали данные с помощью нескольких операторов U-SQL.

Обратите внимание, что выполнение параллельного чтения в среде без транзакций может привести к дублированию или пропуску данных, если параллельная запись происходит в источнике. Таким образом, необходимо проявить некоторую осторожность, и пользователям нужно будет знать компромиссы.

Я не верю, что параллелизм для внешних источников данных еще поддерживается для U-SQL (хотя рад, что его исправят). Если вы считаете, что это важная отсутствующая функция, вы можете создать запрос и проголосовать за нее здесь:

https://feedback.azure.com/forums/327234-data-lake

В качестве обходного пути вы можете вручную распараллелить свои запросы в зависимости от столбцов, доступных в вашем источнике данных. например по дате

// External query working
USE DATABASE yourADLADB;

// Create the external query for year 2016
@results2016 =
    SELECT *
    FROM EXTERNAL yourSQLDBDataSource EXECUTE 
        @"SELECT * FROM dbo.yourBigTable WITH (NOLOCK) WHERE yourDateCol Between '1 Jan 2016 and 31 Dec 2016'";


// Create the external query for year 2017
@results2017 =
    SELECT *
    FROM EXTERNAL yourSQLDBDataSource EXECUTE 
        @"SELECT * FROM dbo.yourBigTable WITH (NOLOCK) WHERE yourDateCol Between '1 Jan 2017 and 31 Dec 2017";


// Output 2016 results
OUTPUT @results2016
TO "/output/bigTable/results2016.csv"
USING Outputters.Csv();


// Output 2017 results
OUTPUT @results2017
TO "/output/bigTable/results2017.csv"
USING Outputters.Csv();

Теперь я создал другую проблему, разбив файлы на несколько частей. Однако затем вы можете прочитать их, используя наборы файлов, которые также будут распараллеливаться, например:

@input =
    EXTRACT 
            ... // your column list
    FROM "/output/bigTable/results{year}.csv"
    USING Extractors.Csv();

Я бы спросил, почему вы решили переместить такой большой файл в свое озеро, учитывая, что ADLA и U-SQL предлагают вам возможность запрашивать данные там, где они находятся. Вы можете объяснить дальше?

Другим потенциальным решением здесь может быть создание кластера HDInsight, поддерживаемого тем же хранилищем ADLS, что и ваша учетная запись ADLA.

Затем вы можете использовать Apache Sqoop для параллельного копирования данных с SQL-сервера в каталог в ADLS, а затем импортировать эти данные (которые будут разделены на несколько файлов) в таблицы с помощью U-SQL.