как проверить данные из RDB в Hadoop HDFS

Пожалуйста, дайте мне знать, какой инструмент предпочтительнее для проверки данных при переносе данных из RDB в Hadoop HDFS.

Мое требование состоит в том, чтобы проверить данные, которые переносятся из оракула в hdfs Hadoop. вывод представляет собой плоский файл, сохраняемый в hdfs hadoop.


hadoop hdfs bigdata sqoop apache-pig
person dileepvarma    schedule 06.11.2013    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Это разовая миграция? Или он должен работать каждый день и синхронизировать данные?

person Raja    schedule 06.11.2013
comment
привет раджа. он работает каждый день - person dileepvarma; 06.11.2013
comment
Вы можете попробовать написать свой собственный mapreduce, используя коннекторы Oracle Bigdata. При таком подходе у вас будет лучший контроль над логикой проверки данных. Или вы можете использовать такие инструменты, как Sqoop, Hive, Pig и т. д. Дополнительная информация: переместить-данные-из-оракула-в-hdfs - person Raja; 07.11.2013
comment
Я должен проверять данные только после завершения миграции, а не переносить данные из оракула в hdfs. У меня есть некоторые базовые знания о PIG, Hive, Sqoop. Мои требования: я должен сравнить данные из источника с целью. не уверен, какой из них лучше всего подходит .. любая помощь в этом? - person dileepvarma; 08.11.2013