Создайте кластер Hadoop, используя ошибки cloudera quickstartVM

Я хочу создать кластер Cloudera, используя образ виртуальной машины быстрого запуска, который можно загрузить непосредственно с веб-страницы cloudera (http://www.cloudera.com/downloads/quickstart_vms/5-8.html).

У меня три виртуальные машины, хотелось бы одну мастер и две слейвы. Я уже настроил их, чтобы иметь разные имена хостов и DNS-соединение между тремя виртуальными машинами. Но когда я пытаюсь добавить новые хосты, я обычно получаю пропущенные пульсации от других машин или, когда этого не происходит, я получаю несоответствие версий и ошибки HDFS.

Итак, есть ли какие-либо другие параметры конфигурации, которые я должен выполнить перед попыткой добавить новый хост?


hadoop cluster-computing cloudera cloudera-cdh cloudera-quickstart-vm
person daloman    schedule 08.11.2016    source источник
comment
Можете ли вы ssh между собой? Вы можете пропинговать их? Брандмауэр отключен?   -  person Janusz    schedule 05.12.2017

Ответы (1)


arrow_upward
0
arrow_downward

Если вы хотите сделать это с помощью 3 быстрых стартов... не делайте этого. Вы потратите больше времени, чем создадите все с нуля.

Тем не менее, как сделать:

  1. Быстрый запуск Cloudera удаляет любую жестко записанную конфигурацию сети, чтобы связать полное доменное имя с реальным IP-адресом в первый раз. Если вы перезагрузите компьютер, в зависимости от того, насколько быстро запускается сеть, ваше полное доменное имя будет переназначено на localhost. Вы должны деактивировать это.
  2. Преобразуйте установку RPM по умолчанию в Parcel на всех узлах. На рабочем столе есть иконка. Почему на всех нодах? потому что вы собираетесь добавить свой узел с помощью посылок и спровоцировать конфликты между RPM и посылками. Другим способом было бы удалить все RPM-пакеты из дистрибутива Cloudera, но с риском забыть один из них...
  3. Удалите cloudera-manager-server и cloudera-manager-agent из подчиненных.
  4. Добавьте своих слейвов к своему мастеру с помощью кнопки Добавить хост в кластер с помощью посылок.

И после того, как вы все это сделаете, вам нужно будет оптимизировать конфигурацию Cloudera, чтобы все было зеленым.

Лично я предпочитаю создать новый шаблон с помощью Centos 7, а не Centos 6, внедрить 3 виртуальных машины из шаблона и установить Cloudera с нуля.

person Cheloute    schedule 12.07.2018