Недавно я начал работать над sqoop - hive/hadoop
в Linux. Мне нужно импортировать данные улья из одной таблицы в таблицу оракула. Для этого я использую простой экспорт sqoop
. У меня 6 миллионов строк в таблице кустов.
Эта команда дает мне очень низкую производительность и занимает много времени (85 минут), чтобы выполнить задание.
Запрос ->
sqoop export --connect jdbc:oracle:thin:@server:port:db--username user --password password--export-dir /user/hive/warehouse/tb --table tb--columns 'col1,col2..col33' --input-fields-terminated-by ',' --input-null-string '\\N' --input-null-non-string '\\N' -m 1
Есть ли какие-либо изменения конфигурации, которые могут помочь мне сделать это быстрее.