sqoop从netezza失败 - “java.lang.ArrayIndexOutOfBoundsException”

我努力调试/理解为什么我的sqoop命令从Netezza数据库失败。sqoop从netezza失败 - “java.lang.ArrayIndexOutOfBoundsException”

我对许多其他表使用基本相同的sqoop命令没有问题。尤其是这个源表没有任何出普通的数据类型，所有的数据类型为nvarchar，NCHAR，整数，时间戳等

这里是指定sqoop命令：

sqoop import \ 
--connect jdbc:netezza://netezza-host-name:5480/nzdatabase \ 
--username user \ 
--password secret \ 
--table source_table_name \ 
--as-sequencefile \ 
--hive-drop-import-delims \ 
--num-mappers 1

我试过很多东西如进口直文本文件，如Avro的文件，而hive-drop-import-delimiters等

16/03/25 18:27:48 INFO mapreduce.Job: Job job_1458490578260_0050 running in uber mode : false 
16/03/25 18:27:48 INFO mapreduce.Job: map 0% reduce 0% 
16/03/25 18:28:52 INFO mapreduce.Job: Task Id : attempt_1458490578260_0050_m_000000_0, Status : 
FAILED 
Error: java.lang.ArrayIndexOutOfBoundsException 
     at org.netezza.sql.NzConnection.receiveDbosTuple(NzConnection.java:739) 
     at org.netezza.internal.QueryExecutor.update(QueryExecutor.java:340) 
     at org.netezza.sql.NzConnection.updateResultSet(NzConnection.java:2704) 
     at org.netezza.sql.NzResultSet.next(NzResultSet.java:1924) 
     at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:237) 
     at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:5

我在Sqoop version: 1.4.6.2.3.2.0-2950。

来源

2016-03-25 joefromct

因此，我们了解到这个问题根本与sqoop无关。事实证明，这是一个老版本的nzjdbc.jar的错误。将其升级到最新版本，现在sqoop正在毫无问题地工作。

来源

2016-03-28 20:33:30 joefromct

我们使用ora_hash函数来解决这个问题，在oracle db上有5个映射器。

--boundary-query 'select 1, 5 from dual' 
--query "select col1,col2,col3.... from (select *, ora_hash(rowid, 4) + 1 orah from db.table) where 1=1 AND \$CONDITIONS"

来源

2016-03-29 18:52:24 pckmn

sqoop从netezza失败 - “java.lang.ArrayIndexOutOfBoundsException”

回答

相关问题