Как получить все результаты из результатов, установленных в входной таблице шага пентаго-чайника?

Я предполагаю, что ваш шаг 2 блокирует ту же таблицу, что и на шаге 1.

Это один из недостатков в остальном эффективной архитектуры PDI. Все этапы начинаются одновременно, и те, кто быстрее всего дает результаты, переходят к следующим этапам. С этой стратегией "сначала делать быстрее" вы иногда превосходите сам оптимизатор sql, когда есть много объединений по суммам или средним значениям (пропорционально).

Основной ловушкой в ​​этом отношении является чтение таблицы, выполнение некоторых преобразований и переписывание результата в той же таблице с отмеченным truncate table. В этом случае усечение выполняется за несколько миллисекунд до выбора входной таблицы, что запускает бесконечную тупиковую блокировку. Спустя долгое время вы решаете убить ETL, но в это время данные были утеряны.

Решения:

• Рекомендуется переписать шаг 2 с использованием шагов PDI, а не использовать готовый класс Java. Это путь, который я настоятельно рекомендую в долгосрочной перспективе, но у вас могут быть причины не следовать ему.

• Если ваша таблица маленькая, вы можете поставить blocking step между вводом и выводом.

• Если ваша таблица большая, вы можете использовать шаг sort row вместо шага блокировки. Вы действительно не хотите сортировать, но PDI должен просмотреть последнюю строку, чтобы убедиться, что сортировка завершена, прежде чем выдавать результаты для следующего шага. Сортировка будет разбивать данные на временные фрагменты на жестком диске, и вы можете иметь определенный контроль над тем, где и как хранятся данные tmp.

• Вы можете скопировать свою таблицу в таблицу tmp (или файл), обработать и удалить ее после. Используйте для этого задание, потому что в задании, в отличие от преобразования, процесс является последовательным.