Успешный импорт sqoop, но таблицы hive show не видят таблицу

env: sqoop-1.4.2 hadoop-1.0.4 улей-0.9.0

import cmd: ./bin/sqoop import --connect jdbc: mysql: // localhost / metrics --username root -password 1023 --table Visit --hive-import --create-hive-table --hive-table hivevisit2 --hive-home / home / hadoop / улей /

файлы существуют в hdfs: Найдено 1 элементов drwxr-xr-x - hadoop supergroup 0 2013-02-19 10:36 / user / hive / inventory / hivevisit2

но показать таблицы в улье, таблица hivevisit2 не существует

Кажется, что когда exe cmd "sqoop -hive-import", он создаст таблицу автоматически, но почему, когда я не вижу таблицу

если я повторно выполняю cmd "./bin/sqoop import --connect jdbc: mysql: // localhost / metrics --username root -password 1023 --table Visit --hive-import --create-hive-table - таблица-улей hivevisit2 --hive-home / home / hadoop / hive / "

ошибка показывает «Ошибка в метаданных: AlreadyExistsException (сообщение: Таблица hivevisit2 уже существует)»

может ли кто-нибудь сказать мне решение, как автоматически создавать таблицу во время импорта улья


import hadoop hive sqoop
person user1631977    schedule 19.02.2013    source источник

Ответы (3)


arrow_upward
1
arrow_downward

попробуйте запустить команду sqoop и команду hive из одного и того же места.

person YongJiang Zhang    schedule 19.11.2013

arrow_upward
0
arrow_downward

Что вы используете в качестве серверной части хранилища данных улья? По умолчанию Hive создаст встроенное хранилище данных дерби для своего метахранилища в текущем рабочем каталоге. Таким образом, при запуске Hive и Sqoop из разных каталогов вы можете получить разные табличные пространства. Я бы порекомендовал настроить Hive для использования некоторого хранилища данных с поддержкой базы данных (MySQL, PostgreSQL) и настроить Hive и Sqoop для использования этого.

person Jarek Jarcec Cecho    schedule 20.02.2013

arrow_upward
0
arrow_downward

  1. Прежде всего вам нужно создать такую ​​схему /user/hive/warehouse/mySchema.db. Это просто каталог с именем mySchema.db.

  2. Затем вы можете импортировать нужную таблицу в схему с помощью следующей команды:

    sqoop import --connect jdbc: mysql: // localhost / metrics --username root --password 1023 --table Посетите
    --hive-import --create-hive-table --hive-table mySchema .hivevisit2

person eMazarakis    schedule 08.03.2019