SQOOP – Слишком большой код › Определение таблицы MAX?

Я пытаюсь импортировать данные в HDFS из таблицы TERADATA с 2000 столбцами (определение таблицы составляет 90 тыс. символов)... Когда я выполняю свой скрипт, я получаю:

/tmp/sqoop-hadoopi/compile/636c527afc3baa6fdf33464f02430602/table.java:21971: code too large

Мой скрипт sqoop:

sqoop import \
 -libjars $LIB_JARS \
 --connect jdbc:teradata://PRD/Database=database \
 --connection-manager org.apache.sqoop.teradata.TeradataConnManager \
 --table table \
 --username login \
 --password pass \

Мой выходной журнал:

13/11/07 14:54:50 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
13/11/07 14:54:50 INFO manager.SqlManager: Using default fetchSize of 1000
13/11/07 14:54:50 INFO tool.CodeGenTool: Beginning code generation
13/11/07 14:55:31 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM table AS t WHERE 1=0
13/11/07 14:55:46 INFO orm.CompilationManager: HADOOP_HOME is /usr/lib/hadoop/libexec/..
13/11/07 14:55:46 INFO orm.CompilationManager: Found hadoop core jar at: /usr/lib/hadoop/libexec/../hadoop-core.jar
/tmp/sqoop-hadoopi/compile/636c527afc3baa6fdf33464f02430602/table.java:21971: code too large
  public boolean equals(Object o) {
                 ^
/tmp/sqoop-hadoopi/compile/636c527afc3baa6fdf33464f02430602/table.java:37949: code too large
  public void write(DataOutput __dataOut) throws IOException {
              ^
/tmp/sqoop-hadoopi/compile/636c527afc3baa6fdf33464f02430602/table.java:49925: code too large
  public String toString(DelimiterSet delimiters, boolean useRecordDelim) {
                ^
/tmp/sqoop-hadoopi/compile/636c527afc3baa6fdf33464f02430602/table.java:53970: code too large
  private void __loadFromFields(List<String> fields) {
               ^
Note: /tmp/sqoop-hadoopi/compile/636c527afc3baa6fdf33464f02430602/table.java uses or overrides a deprecated API.
Note: Recompile with -Xlint:deprecation for details.
4 errors
13/11/07 14:55:51 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Error returned by javac
        at org.apache.sqoop.orm.CompilationManager.compile(CompilationManager.java:205)
        at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:83)
        at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:390)
        at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:476)
        at org.apache.sqoop.Sqoop.run(Sqoop.java:145)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
        at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:181)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:220)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:229)
        at org.apache.sqoop.Sqoop.main(Sqoop.java:238)

Может быть, кто-то уже импортировал большую таблицу... Большое спасибо!


hadoop teradata bigdata sqoop
person KelevraZero    schedule 07.11.2013    source источник

Ответы (2)


arrow_upward
1
arrow_downward

Каждый метод в Java ограничен 64 КБ байтового кода. Я боюсь, что текущая версия Sqoop не имеет средств для разбиения длинных методов, которые генерируются в вашем случае, на несколько подметодов, поэтому я предлагаю открыть новый запрос функции на Sqoop JIRA.

person Jarek Jarcec Cecho    schedule 07.11.2013

arrow_upward
0
arrow_downward

Я не знаю, пробовали ли вы это уже, но есть Teradata Connector для Hadoop:

http://developer.teradata.com/connectivity/articles/teradata-connector-for-hadoop-now-available

person dnoeth    schedule 07.11.2013
comment
Да, я пытаюсь, но я думаю, что это не проблема с моим соединением, потому что, когда я пробую на маленьком столе, у меня не возникает никаких проблем... - person KelevraZero; 08.11.2013