Hadoop на Google Compute Engine: как добавить внешнее ПО

bdutil на самом деле предназначен для поддержки пользовательских расширений; вы, безусловно, можете отредактировать существующий, чтобы упростить начало работы, но рекомендуется создать собственное расширение "_env.sh", которое при необходимости можно смешивать с другими расширениями bdutil. Таким образом, вы можете легко объединять любые обновления, которые Google делает, с ядром bdutil, не беспокоясь о конфликтах с вашими настройками. Вам нужно всего лишь создать два файла, например:

Файл с командами оболочки:

# install_my_custom_tools.sh

# Shell commands to install whatever you want
apt-get -y install Xvfb

Файл со ссылкой на файл команд, который вы подключите к bdutil:

# my_custom_tools_env.sh

COMMAND_GROUPS+=(
  "install_my_custom_tools_group:
     install_my_custom_tools.sh
  "
)

COMMAND_STEPS+=(
  'install_my_custom_tools_group,install_my_custom_tools_group'
)

Затем при запуске bdutil вы можете просто смешать его с флагом -e:

./bdutil -e my_custom_tools_env.sh deploy

Если вы хотите организовать вспомогательные сценарии в несколько файлов, вы можете легко перечислить больше сценариев оболочки в одном COMMAND_GROUP:

COMMAND_GROUPS+=(
  "install_my_custom_tools_group:
     install_my_custom_tools.sh
     my_fancy_configuration_script.sh
  "
)

Если вы хотите, чтобы что-то работало только на мастере, просто укажите * во втором аргументе в COMMAND_STEPS:

COMMAND_GROUPS+=(
  "install_my_custom_tools_group:
     install_my_custom_tools.sh
  "
  "install_on_master_only:
     install_fancy_master_tools.sh
  "
)
COMMAND_STEPS+=(
  'install_my_custom_tools_group,install_my_custom_tools_group'
  'install_on_master_only,*'
)

При их использовании вы все равно можете легко смешивать их с другими файлами env, например:

./bdutil -e my_custom_tools_env.sh -e extensions/spark/spark_env.sh deploy

Для файлов, находящихся в том же каталоге, что и bdutil, или в каталоге extensions, вы также можете использовать сокращенную нотацию, указав только базовое имя файла без суффикса _env.sh:

./bdutil -e my_custom_tools -e spark deploy