Настройте клиенты SnakeBite HDFS для работы в режиме высокой доступности.

Я использую библиотеку snakebite для доступа к HDFS из моих дагов воздушного потока.

Мой кластер HDFS был переведен в режим высокой доступности. Теперь это означает, что клиенты, настроенные так, чтобы они указывали только на один узел имен, не будут работать, если этот узел имен не является активным узлом.

Какие стратегии можно использовать для повышения доступности режима высокой доступности? Могу ли я настроить клиенты змеиного укуса для аварийного переключения на другой узел? Могу ли я использовать какой-нибудь балансировщик нагрузки, чтобы направить трафик на нужный узел имен?


person Marcin    schedule 17.12.2015    source источник


Ответы (1)


Оказывается, у Snakebite есть не одно, а два решения этой проблемы: AutoConfigClient, который будет брать свои конфигурации из конфигураций Hadoop, и HAClient, который принимает два namenodes.

В моем случае я фактически использовал укус змеи через воздушный поток. Оказывается, HDFSHook airflow достаточно умен, чтобы справиться с двумя узлами имен, предоставляемыми в одном соединении, и затем будет использовать HAClient.

person Marcin    schedule 17.12.2015