захватить вывод sqoop в oozie

У меня есть рабочий процесс Oozie, который должен запускаться каждые X минут. Он считывает значение из таблицы HBase. После этого запускается действие Sqoop (инкрементное) на основе значения, считанного из HBase на предыдущем шаге. Чтобы заставить рабочий процесс работать, мне нужно каким-то образом зафиксировать новое значение --last-value из действия Sqoop Oozie, которое будет записано обратно в HBase, а в следующий раз, когда рабочий процесс запустится, чтобы прочитать его снова... и так далее.

Как я могу это сделать, или может быть лучший способ?

Йонас


person jonas.hartwig    schedule 14.02.2013    source источник
comment
Sqoop пока не поддерживает его из коробки, на этом этапе вам нужно обновить файл свойств самостоятельно. Но лично я считаю, что это следует рассматривать как одну из особенностей Sqoop.   -  person Shengjie    schedule 20.08.2013


Ответы (1)


Я думаю, что блог http://www.tanzirmusabbir.com/2013/05/chunk-data-import-incremental-import-in.html может дать вам несколько советов.

По сути, он сохраняет начальный индекс и размер фрагмента в job.properties, а начальный индекс используется в условии where в задании Sqoop, затем он изменяет начальный индекс через сценарий оболочки после задания sqoop.

person keepon    schedule 04.06.2013
comment
Документы, упомянутые в блоге, недоступны. - person kfkhalili; 20.04.2016