Это кластер с Hadoop 2.5.0, Spark 1.2.0, Scala 2.10, предоставленный CDH 5.3.2. Я использовал скомпилированный дистрибутив spark-notebook
Кажется, что Spark-Notebook не может найти хранилище метаданных Hive по умолчанию.
Как указать расположение hive-site.xml для spark-notebook, чтобы он мог загрузить хранилище метаданных Hive?
Вот что я пробовал:
связать все файлы из /etc/hive/conf с включенным hive-site.xml в текущий каталог
указать переменную SPARK_CONF_DIR в bash
Когда вы запускаете блокнот, задайте в переменной среды EXTRA_CLASSPATH путь, по которому вы разместили файл hive-site.xml, это работает для меня: EXTRA_CLASSPATH=/path_of_my_mysql_connector/mysql-connector-java.jar:/my_hive_site.xml_directory/conf ./bin/spark-notebook Я также передал jar моего mysqlconnector, потому что у меня есть Hive с MySql.
Я нашел некоторую информацию по этой ссылке: https://github.com/andypetrella/spark-notebook/issues/351
Используя CDH 5.5.0 Quickstart VM, решение следующее: Вам нужна ссылка hive-site.xmlна записную книжку, которая предоставляет информацию о доступе к хранилищу метаданных куста. По умолчанию spark-notebook использует внутреннее хранилище метаданных.
Вы можете определить следующую переменную окружения в ~/.bash_profile:
HADOOP_CONF_DIR=$HADOOP_CONF_DIR:/etc/hive/conf.cloudera.hive/
export HADOOP_CON_DIR
(Убедитесь, что вы выполнили source ~/.bash_profile, если вы не открываете новый терминал в терминале)
(Решение приведено здесь: https://github.com/andypetrella/spark-notebook/issues/351)
