Экономный сервер spark-cassandra на ec2 выдает SparkException по запросу от beeline

Я установил кластер cassandra spark-hadoop на 3 узла ec2. Вчера я смог запустить сервер экономии искры на узле 0 и фактически выполнил простую инструкцию sql в beeline. Сегодня, после изменения схемы, я перезапустил комиссионный сервер, теперь я получаю исключение SparkException java.lang.IllegalArgumentException: ip-172-30-4-140 в org.apache.hadoop.hive.cassandra.cql3.input.HiveCqlInputFormat. getRecordReader(HiveCqlInputFormat.java:212)

ip-172-30-4-140 - это просто частный IP-адрес этого узла

Я попытался запустить ту же последовательность из двух других узлов cassandra, и для них оператор sql зависает и никогда не возвращается.

Что это за ошибка? кто-нибудь знает?


amazon-ec2 spark-cassandra-connector thrift beeline
person bhomass    schedule 27.04.2016    source источник

Ответы (2)


arrow_upward
0
arrow_downward

Это не айпи. Вы должны указать либо частный IP, либо публичный DNS.

person mahendra singh    schedule 27.04.2016
comment
нет входного параметра для ввода ip. это сообщение было сгенерировано внутри без моего участия. - person bhomass; 27.04.2016
comment
кто-нибудь знает, откуда thriftserver получил частный DNS? это то, что возвращается, когда вы выполняете echo $HOSTNAME. Я проверил многочисленные файлы конфигурации. Не могу понять, откуда это берет комиссионный сервер, искра или улей. - person bhomass; 04.05.2016

arrow_upward
0
arrow_downward

хорошо, я нашел проблему.

Значение по умолчанию для параметра host указывает на внутренний IP-DNS ec2, что вызывает исключение. Это должно быть явно объявлено

sudo dse spark-sql-thriftserver start hive.server2.thrift.bind.host=your-ec2-private-ip

person bhomass    schedule 05.05.2016