Pentaho PDI (чайник / ложка) Внедрение метаданных для текстовых файлов

Я заинтересован в импорте файла фиксированной ширины с помощью Pentaho PDI. Я использовал его основной инструмент с графическим интерфейсом, который графически устанавливает ширину в Spoon. НО, если количество полей очень велико, например, несколько сотен полей, это будет подвержено ошибкам и займет много времени. В других инструментах ETL я могу импортировать метафайл, который описывает свойства столбца, такие как имя, размер и т. Д.

Я вижу, что у pentaho есть эта штука, называемая внедрением метаданных, но там совсем не так много руководств, всего пара, и либо варианты использования действительно сложны и используют Javascript для написания сценариев, либо они описывают это очень абстрактно.

Надеюсь, кто-то из знакомых сможет объяснить мой конкретный вариант использования файлов фиксированной ширины.


person Palu    schedule 24.07.2018    source источник
comment
не можете понять, о чем вы спрашиваете? вы хотите образец для внедрения метаданных?]   -  person Helping Hand..    schedule 25.07.2018
comment
Привет, я не прошу образец, я спрашиваю, какие шаги нужно выполнить для внедрения метаданных в Pentaho. Это совсем не ясно, если судить по маленьким учебникам. Вот как я предполагаю, что это может сработать. Я создаю текстовый файл со свойствами файла данных, такими как имя столбца, размер столбца и т. Д. Есть ли способ импортировать этот файл на этапе метаданных пусть он прочитает свойства, а затем на следующем шаге импортирует файл данных на основе деталей файла свойств.   -  person Palu    schedule 25.07.2018


Ответы (1)


Да, вы можете использовать этап внедрения метаданных для применения динамических свойств, таких как имя файла, поля, тип данных длины и т. Д.

Для этого,

  1. Вам нужно создать одно преобразование с шагом ввода файла.
  2. Создайте другое преобразование с шагом внедрения метаданных и где вы можете добавить преобразование, созданное на шаге 1.
  3. На вкладке ввода метаданных шага внедрения метаданных вы можете добавить длину из шага ввода.
person Niraj    schedule 01.08.2018
comment
Привет, Нирадж, спасибо за ответ, очень признателен. Как связать вместе эти преобразования, чтобы вы подключались от шага ввода файла к шагу внедрения метаданных, а затем, если я хочу, чтобы данные попадали в базу данных, вы подключаетесь с шага внедрения метаданных? - person Palu; 01.08.2018
comment
вам необходимо связать шаг базы данных с шагом внедрения метаданных. На этапе внедрения метаданных вы можете добавить преобразование с вводом файла. На вкладке метаданных шага внедрения метаданных вы можете добавить длину из шага базы данных. - person Niraj; 02.08.2018