Как выполнить импорт из базы данных MySQL в Datastax DSE Hive с помощью sqoop?

Я провел день, пытаясь понять, как я могу использовать dse sqoop для импорта таблицы из MySQL в Hive/Shark. В моем случае я не очень заинтересован в том, чтобы импортировать таблицу в Cassandra как таковую. Улей/Акула подойдет.

Насколько я знаю, это должно быть возможно, учитывая, что dse sqoop import help дает мне возможность создать таблицу Hive. Я пытался выполнить что-то очень похожее на http://www.datastax.com/documentation/datastax_enterprise/4.5/datastax_enterprise/ana/anaSqpImport.html, за исключением того, что я не могу заставить работать учетные данные имени пользователя и пароля Cassandra.

Должно ли это быть возможно? Как? Нужно ли мне проходить таблицу CQL?

Я использую DSE 4.5.


sqoop datastax datastax-enterprise
person Ztyx    schedule 29.12.2014    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Похоже, вы пытаетесь сделать что-то похожее на слайд 47 в этой колоде: http://www.slideshare.net/planetcassandra/escape-from-hadoop

Стратегия, которую использует Рассел, заключается в использовании драйвера spark mysql, и нет необходимости иметь дело со Sqoop. Вам нужно добавить зависимость к вашему пути к классам искры, чтобы он работал. Нет необходимости просматривать таблицу CQL.

Затем вы можете присоединиться к данным c*, записать данные в c* и т. д.

person phact    schedule 29.12.2014