SSIS — создание сводного выходного файла

Я хотел бы использовать SSIS для выполнения преобразований в нескольких файлах (CSV, Excel), которые поступают из различных источников данных, и на выходе всегда должны быть файлы CSV в определенной структуре.

Одним из требований после выполнения шагов преобразования является создание результирующего итогового файла (MANIFEST FILE) о результатах процесса в следующей структуре.

BATCH_ID|EXTRACTED_FILE_NAME|MODEL_TYPE|RECORD_COUNT|TOTAL_QTY|GENERATED_ON_TE|CONTENTS_FROM_DATE|CONTENTS_TO_DATE|WORKSET_ID|FILE_STATUS|FILE_STATUS_TS

000005|NSL_B_YFRCARRAB0_PRODUCT_MASTER_20171122.txt|B|829||20171122121525|||||


Важные столбцы:

Идентификатор партии: идентификатор запуска

EXTRACTED_FILE_NAME: имя файла CSV, созданного SSIS (выходной файл).

RECORD_COUNT: количество строк в выходном файле.

TOTAL_QTY: СУММА столбца QTY

GENERATED_ON_TE: Когда файл был сгенерирован

STATUS_TS: Статус — ОК/ОШИБКА


Можно ли добиться этого результата в SSIS? Могу ли я создать его без использования скриптового компонента? Если мне придется использовать компонент скрипта, не могли бы вы мне немного помочь?

Большое спасибо, Мартин!


person Martin Lučan    schedule 27.11.2017    source источник
comment
Вы можете сделать это, вставив строки в таблицу SQL по мере запуска вашего пакета, и на последнем этапе экспортировать строки для пакета в csv. Самый простой способ — создать процедуру для вставки строк манифеста и использовать переменные пакета для установки параметров.   -  person John    schedule 27.11.2017
comment
Какая версия SSIS/SQL Server?   -  person John    schedule 27.11.2017
comment
У меня есть SQL 2012 или 2008 SP2. У меня есть понимание, что я могу это сделать. Но где я могу найти эти параметры, которые я хочу иметь в своем файле манифеста, как я описал в моем разделе важные столбцы. Не могли бы вы немного сориентировать меня, пожалуйста? Подскажите, ссылочку, пожалуйста. Я хотел бы избежать использования scrip componenet, но если это необходимо, я буду использовать его.   -  person Martin Lučan    schedule 28.11.2017
comment
Я начал составлять для вас тест, но времени не хватило. Вот статья, в которой обсуждается получение количества записей. ‹stackoverflow.com/questions/14591985/> Получить имя файла легко - просто используйте переменную, которую вы определили в перечислителе файлов. Используйте пути для определения статуса. Один элемент, который мне нужно проверить, — это получение общего значения.   -  person John    schedule 28.11.2017
comment
Еще один вопрос: Generated_on_TE — это дата файла csv или дата и время выполнения пакета?   -  person John    schedule 28.11.2017