Я создал фабрику данных Azure для планирования сценария U-SQL с использованием действия DataLakeAnalyticsU-SQL. См. код ниже:
InputDataset
{
"name": "InputDataLakeTable",
"properties": {
"published": false,
"type": "AzureDataLakeStore",
"linkedServiceName": "LinkedServiceSource",
"typeProperties": {
"fileName": "SearchLog.txt",
"folderPath": "demo/",
"format": {
"type": "TextFormat",
"rowDelimiter": "\n",
"columnDelimiter": "|",
"quoteChar": "\""
}
},
"availability": {
"frequency": "Hour",
"interval": 1
}
}
}
OutputDataset:
{
"name": "OutputDataLakeTable",
"properties": {
"published": false,
"type": "AzureDataLakeStore",
"linkedServiceName": "LinkedServiceDestination",
"typeProperties": {
"folderPath": "scripts/"
},
"availability": {
"frequency": "Hour",
"interval": 1
}
}
}
Pipeline:
{
"name": "ComputeEventsByRegionPipeline",
"properties": {
"description": "This is a pipeline to compute events for en-gb locale and date less than 2012/02/19.",
"activities": [
{
"type": "DataLakeAnalyticsU-SQL",
"typeProperties": {
"scriptPath": "scripts\\SearchLogProcessing.txt",
"degreeOfParallelism": 3,
"priority": 100,
"parameters": {
"in": "/demo/SearchLog.txt",
"out": "/scripts/Result.txt"
}
},
"inputs": [
{
"name": "InputDataLakeTable"
}
],
"outputs": [
{
"name": "OutputDataLakeTable"
}
],
"policy": {
"timeout": "06:00:00",
"concurrency": 1,
"executionPriorityOrder": "NewestFirst",
"retry": 1
},
"scheduler": {
"frequency": "Hour",
"interval": 1
},
"name": "CopybyU-SQL",
"linkedServiceName": "AzureDataLakeAnalyticsLinkedService"
}
],
"start": "2016-12-21T17:44:13.557Z",
"end": "2016-12-22T17:44:13.557Z",
"isPaused": false,
"hubName": "denojaidbfactory_hub",
"pipelineMode": "Scheduled"
}
}
Я успешно создал все необходимые связанные службы. Но после развертывания конвейера для входного набора данных не создается квант времени. См. изображение ниже:
Принимая во внимание, что выходной набор данных ожидает временной интервал входного набора данных восходящего потока. В результате временные срезы выходного набора данных остаются в состоянии ожидания выполнения, а мой конвейер фабрики данных Azure не работает. См. изображение ниже: Любые предложения по устранению этой проблемы.