Как запланировать задания Hadoop с помощью BMC Control-M?

Ответ ДА.

И этот ответ станет еще лучше.

Сегодня вы можете использовать многочисленные интерфейсы командной строки, доступные с различными компонентами Hadoop. Затем вы можете запускать эти интерфейсы командной строки как команды по отдельности или объединять их в сценарии, встроенные непосредственно в задания Control-M или заключенные в сценарии оболочки (популярен Bash) и запланированные с помощью Control-M. Я предоставил пример сценария, который выполняет некоторые манипуляции с HDFS, а затем запускает задание MapReduce.

Самое лучшее произойдет через несколько месяцев, когда мы выпустим интегрированную поддержку Hadoop. На этом этапе (я предполагаю, что вы знакомы с BMC Control-M) мы будем предоставлять графические формы, аналогичные другим нашим CM, для определения различных типов заданий (рассматриваются Pig, Hive, MapReduce, но я не уверен, что именно). будет реализован), интегрированная поддержка мониторинга состояния, получения выходных данных задания и т. д.

Мы уже слышали от ряда клиентов, которые используют Control-M для управления своими средами Hadoop.

В дополнение к «механике» выполнения заданий Hadoop вы также получаете возможности Control-M для управления графическими потоками, интеграции с широким спектром платформ и приложений, возможности управления уровнями обслуживания, прогнозирования, аудита, отчетности и многого другого.

Я был бы рад обсудить это с вами дальше, и, тем более, что мы все еще находимся на ранних стадиях этой работы, мы хотели бы узнать, каковы ваши требования в этой области. Пожалуйста, отправьте мне сообщение по адресу [email protected], и я буду рад организовать телефонную конференцию или демонстрацию.

#!/bin/csh
#
cd /h/gron/java/hadoop/hadoop-1.0.3
bin/hadoop dfs -rmr  output_$UUID 'dfs[a-z.]+'
bin/hadoop  jar  hadoop-examples-1.0.3.jar  grep input output_$UUID 'dfs[a-z.]+'