Стратегия загрузки набора файлов в Talend

Я хочу знать, какая стратегия лучше всего подходит для решения следующей проблемы в Talend:

  • Мне нужно загрузить данные из набора файлов с разделителями, которые хранятся в каталоге с такими именами, как (SAMPLE1.DAT, SAMPLE2.DAT, ..., SAMPLEX.DAT)
  • Целью будет таблица в базе данных MySQL.
  • Мне нужно загрузить все данные сразу, потому что после этой задачи мне нужно работать со всеми записями в одной таблице

Я немного сбит с толку, потому что не знаю, возможно ли это в Таленде. Я видел компонент tFileInputDelimited, но не нашел способа его решить.

Спасибо


etl talend
person PabloCocko    schedule 09.06.2011    source источник

Ответы (2)


arrow_upward
5
arrow_downward

Чтобы прочитать несколько файлов из одного каталога, вы должны использовать компонент tFileList. Он позволяет вам указать каталог и шаблон имени файла. Все файлы в каталоге, соответствующие шаблону, будут обработаны один за другим.

Вам необходимо использовать ссылку «Итерация» из компонента tFileList на те компоненты, которые описывают, что вы хотите делать с каждым файлом. В вашем случае вы должны начать с компонента tFileInputDelimited (прочитать файл) и подключить его основной вывод к компоненту tMysqlOutput. Компонент MySQL по умолчанию просто добавляет данные в существующую таблицу, так что вы должны получить желаемый результат.

В компоненте tFileInputDelimited вы не должны использовать фиксированное имя файла, а имя файла переменной, которое устанавливается компонентом tFileList для каждой итерации (ваша переменная цикла, так сказать). Имя этой переменной цикла можно увидеть в "схеме" в студии, обычно в нижнем левом углу.

person drmirror    schedule 26.08.2011

arrow_upward
1
arrow_downward

Вы должны использовать компоненты tFileInputDelimited в tMap (необязательно) в tmysqlOutput

Шаг 1: настройте некоторые компоненты следующим образом, за исключением того, что вы будете использовать ввод файла с разделителями: Шаг 1

Шаг 2: настройте параметры компонента для файла с разделителями, щелкните диск для мастера: Шаг 2

Шаг 3: настройте базу данных, щелкнув правой кнопкой мыши «Подключение к базе данных» в разделе метаданных, а затем выполнив следующие действия мастера: Шаг 3

Шаг 4: щелкните правой кнопкой мыши каждый компонент и выберите «Строка»> «Основные»> перетащите на следующий шаг в потоке.

Шаг 5: Откройте карту tMap и сопоставьте столбцы из схемы файла со схемой базы данных.

Шаг 6: Запустите задание, оно должно работать, если вы следовали всем инструкциям мастера, если есть ошибки, просто наведите указатель мыши на красный компонент, и он обычно хорошо описывает ошибки. По мере выполнения задания вы увидите, сколько записей было передано.

Шаг 7: после того, как вы сделали это так далеко, создайте tfiledelimited выход с той же схемой, что и вход, щелкните правой кнопкой мыши вход, выберите «Строка»> «Отклонить» и перетащите его в новый разделенный выход, это куда и будут отправлены записи, отклоненные tmap.

person OpenCoderX    schedule 23.06.2011