Вопросы по теме 'sqoop'
Команда Sqoop --hive-import не удалась
Я пытаюсь импортировать базу данных из mysql в Hive с помощью Hadoop с автоматическим созданием таблицы и загрузкой данных в куст с помощью команды «--hive-import» из Sqoop.
Я использую команду ниже для выполнения импорта с помощью sqoop...
3873 просмотров
schedule
19.04.2022
Запрос, связанный с sqoop-импортом?
Сценарий:
Я импортировал данные с сервера SQl в HDFS. Данные хранятся в каталоге HDFS в нескольких файлах как:
часть-m-00000 часть-m-00001 часть-m-00002 часть-m-00003
Вопрос:
Мой вопрос заключается в том, что при чтении этих...
539 просмотров
schedule
04.07.2022
Запрос в свободной форме Sqoop, разделенный псевдонимом
Я хочу импортировать данные из MsSQL в HBase, выполняя запрос произвольной формы, который имеет псевдоним для ключа, который я хочу разделить. Например, мой запрос:
SELECT convert(varchar,Table1.Field1) + '_' + Table2.field1 AS 'xyz'
FROM...
1573 просмотров
schedule
07.05.2024
sqoop-экспорт в CentOS
Я хочу использовать sqoop-export из Hive => MySQL. Я выполнил следующую команду, которая сработала:
sqoop-export --connect jdbc:mysql://localhost/mydb --table tbl_1 --export-dir /user/hive/warehouse/tbl_1 --username test --password test123...
1531 просмотров
schedule
27.04.2023
Сбой задания импорта Sqoop из-за тайм-аута задачи
Я пытался импортировать таблицу размером 1 ТБ в MySQL в HDFS, используя sqoop. Использовалась команда:
sqoop import --connect jdbc:mysql://xx.xx.xxx.xx/MyDB --username myuser --password mypass --table mytable --split-by rowkey -m 14
После...
6523 просмотров
schedule
13.04.2023
захватить вывод sqoop в oozie
У меня есть рабочий процесс Oozie, который должен запускаться каждые X минут. Он считывает значение из таблицы HBase. После этого запускается действие Sqoop (инкрементное) на основе значения, считанного из HBase на предыдущем шаге. Чтобы заставить...
1167 просмотров
schedule
22.08.2022
Успешный импорт sqoop, но таблицы hive show не видят таблицу
env: sqoop-1.4.2 hadoop-1.0.4 улей-0.9.0
import cmd: ./bin/sqoop import --connect jdbc: mysql: // localhost / metrics --username root -password 1023 --table Visit --hive-import --create-hive-table --hive-table hivevisit2 --hive-home / home /...
1940 просмотров
schedule
08.03.2024
Как найти оптимальное количество картографов при импорте и экспорте Sqoop?
Я использую Sqoop версии 1.4.2 и базу данных Oracle.
При запуске команды Sqoop. Например вот так:
./sqoop import \
--fs <name node> \
--jt <job tracker>...
15332 просмотров
schedule
22.07.2022
Sqoop Экспорт Oracle Очень медленный
Недавно я начал работать над sqoop - hive/hadoop в Linux. Мне нужно импортировать данные улья из одной таблицы в таблицу оракула. Для этого я использую простой экспорт sqoop . У меня 6 миллионов строк в таблице кустов.
Эта команда дает мне...
2170 просмотров
schedule
17.08.2022
Sqoop Incremental Import lastmodified: Как объединить Avro?
После выполнения двух добавочных импортов одной и той же таблицы import_old и import_new с использованием --as--avrofile я просто не знаю, и я не могу merge сделать два.
Я вижу следующее исключение:
java.lang.NumberFormatException: For...
963 просмотров
schedule
28.10.2022
Разделители данных HBase и HDFS?
У меня есть данные HBase , экспортированные в HDFS . Я хочу экспортировать Sqoop HDFS в MySQL . Но при использовании экспорта Sqoop мне нужно указать, как разграничиваются данные HDFS. Как проверить, какие разделители есть в таблице HBase...
800 просмотров
schedule
26.03.2023
как проверить данные из RDB в Hadoop HDFS
Пожалуйста, дайте мне знать, какой инструмент предпочтительнее для проверки данных при переносе данных из RDB в Hadoop HDFS.
Мое требование состоит в том, чтобы проверить данные, которые переносятся из оракула в hdfs Hadoop. вывод представляет...
1177 просмотров
schedule
25.03.2022
SQOOP – Слишком большой код › Определение таблицы MAX?
Я пытаюсь импортировать данные в HDFS из таблицы TERADATA с 2000 столбцами (определение таблицы составляет 90 тыс. символов)... Когда я выполняю свой скрипт, я получаю:
/tmp/sqoop-hadoopi/compile/636c527afc3baa6fdf33464f02430602/table.java:21971:...
417 просмотров
schedule
21.08.2022
Исключение класса не найдено при запуске sqoop: org/apache/sqoop/Sqoop
Я установил sqoop на машину (sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz из http://www.apache.org/dist/sqoop/1.4.4/ ). Когда я пытаюсь запустить "$SQOOP_HOME/sqoop help" или любую другую команду в этом отношении,
Я получаю следующую ошибку:...
1620 просмотров
schedule
30.05.2024
Ошибка при отправке задания sqoop2
Я получаю сообщение об ошибке при отправке задания sqoop2.
sqoop:000> start job --jid 1
Submission details
Job id: 1
Status: FAILURE_ON_SUBMIT
Creation date: 2013-11-06 11:21:30 IST
Last update date: 2013-11-06 11:21:30 IST
Exception:...
924 просмотров
schedule
30.05.2023
Проблемы с экспортом поплавков и двойников из hdsf в MySql с использованием sqoop
Я использую версии 1.2.1 и sqoop 1.4.4.
Я новичок в hadoop/sqoop, и у меня возникла проблема. У меня есть данные в hdfs, которые я хочу экспортировать в MySQL, но экспорт не удается. Я использовал следующее утверждение:
sqoop export...
489 просмотров
schedule
09.06.2024
Пользовательские функции sqoop
Поддерживает ли apache sqoop 1 или sqoop 2 пользовательские функции? у нас есть сценарий, в котором данные находятся в HDFS, и мы хотим извлечь элементы данных из записей, находящихся в HDFS, и вставить в СУБД.
752 просмотров
schedule
15.04.2023
Sqoop: Как добавить дополнительный столбец для вывода и заменить пустые строки?
У меня есть таблица SQL со следующими столбцами:
name, fname, e-mail, phone
Как импортировать эту таблицу с помощью Sqoop в файл CSV на HDFS с помощью:
Дополнительный столбец phone2 , чтобы иметь следующий формат выходной записи CSV:...
2872 просмотров
schedule
21.09.2022
Импорт данных Oracle в Hadoop
Предупреждение: я новичок в области науки о данных/инженера данных/hadoop; Я искал решения для импорта больших объемов данных (миллионов строк) в созданный нами кластер Hadoop. База данных — это Oracle, и я исследовал множество способов выполнения...
435 просмотров
schedule
31.05.2022
Переопределить несколько свойств sqoop при выполнении задания sqoop
Я обнаружил, что при переопределении свойств задания sqoop во время выполнения я могу переопределить только одно свойство.
пример 1: если я отправлю
sqoop job --exec test123 -- --query "select * from test where update_batch_id between 4 and 10...
873 просмотров
schedule
06.03.2024
