配置单元设置hive.optimize.sort.dynamic.partition

我试图插入到具有动态分区的配置单元表中。相同的查询在过去的几天内运行良好，但现在正在给出下面的错误。配置单元设置hive.optimize.sort.dynamic.partition

Diagnostic Messages for this Task: java.lang.RuntimeException: 
org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error: 
Unable to deserialize reduce input key from 
x1x128x0x0x46x234x240x192x148x1x68x69x86x50x0x1x128x0x104x118x1x128x0x0x46x234x240x192x148x1x128x0x0x25x1x128x0x0x46x1x128x0x0x72x1x127x255x255x255x0x0x0x0x1x71x66x80x0x255 
with properties 
{columns=reducesinkkey0,reducesinkkey1,reducesinkkey2,reducesinkkey3,reducesinkkey4,reducesinkkey5,reducesinkkey6,reducesinkkey7,reducesinkkey8,reducesinkkey9,reducesinkkey10,reducesinkkey11,reducesinkkey12, 
serialization.lib=org.apache.hadoop.hive.serde2.binarysortable.BinarySortableSerDe, 
serialization.sort.order=+++++++++++++, 
columns.types=bigint,string,int,bigint,int,int,int,string,int,string,string,string,string} 
    at org.apache.hadoop.hive.ql.exec.mr.ExecReducer.reduce(ExecReducer.java:283) 
    at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:506) 
    at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:447) 
    at org.apache.hadoop.mapred.Child$4.run(Child.java 

FAILED: Execution Error, return code 2 from 
org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduce Jobs Launched: 
Stage-Stage-1: Map: 1 Reduce: 1 Cumulative CPU: 3.33 sec HDFS 
Read: 889 HDFS Write: 314 SUCCESS Stage-Stage-2: Map: 1 Reduce: 1 
Cumulative CPU: 1.42 sec HDFS Read: 675 HDFS Write: 0 FAIL

当我使用下面的设置，查询运行良好

set hive.optimize.sort.dynamic.partition=false

，当我这个值设置为true，它给出了同样的错误。

源表格存储在序列格式中，目标表格存储在RC格式中。任何人都可以解释这个设置在内部有什么不同吗？

来源

2015-10-15 Jaikumar Obla

类似的帖子http://stackoverflow.com/questions/32236798/hive-runtime-error-unable-to-deserialize-reduce-input-key – madhu

是的，我通过了帖子。但是关于这个设置的行为的任何解释？ –

有时当我们试图做一个Insert Table与动态分区设置为True我们会得到这些错误。

发生这种情况是因为配置单元在启用时会传递一些内部列来帮助减速器阶段，该阶段不是数据的一部分。这个设置不是一个稳定的。

这就是为什么在hive0.14.0及更高版本中默认禁用此设置的原因，但在hive0.13.0中默认启用此设置。希望你得到它....

来源

2015-10-16 12:54:26 madhu

我的解释是否有用......如果是这样，接受或投票 – madhu

您可以告诉我什么是“这种情况发生，因为配置单元通过一些内部列来帮助减少阶段，这不是数据时的配置单元的一部分。 optimize.sort.dynamic.partition已启用“ – user145610

配置单元设置hive.optimize.sort.dynamic.partition

回答

相关问题