配置单元tez执行错误

我正在运行配置单元查询，并且当设置hive.execution.engine = tez，而查询在引擎= MR下工作时，出现以下错误。配置单元tez执行错误

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask

我的查询是一个内部连接，数据非常大。

另一件事是我遇到过这个问题。但tez后来工作，所以我认为这是关于蜂房不稳定的事情。

来源

2015-11-05 Vicky

我以为你的问题标题是“有这个执行错误”。打算编辑它，然后实现了标签：D –

该标题意味着Hive执行错误，将执行引擎设置为tez。 – Vicky

一旦检查您的yarn-site.xml具有以下属性。

<property> 
    <name>yarn.nodemanager.vmem-check-enabled</name> 
    <value>false</value> 
    <description>Whether virtual memory limits will be enforced for containers</description> 
    </property> 
<property> 
    <name>yarn.nodemanager.vmem-pmem-ratio</name> 
    <value>4</value> 
    <description>Ratio between virtual memory to physical memory when setting memory limits for containers</description> 
    </property> 
<property> 
    <name>yarn.scheduler.minimum-allocation-mb</name> 
    <value>1024</value> 
    </property> 
    <property> 
    <name>yarn.scheduler.maximum-allocation-mb</name> 
    <value>2048</value> 
    </property> 
    <property> 
    <name>yarn.nodemanager.resource.memory-mb</name> 
    <value>2048</value> 
    </property> 
</configuration>

来源

2015-12-28 12:25:08 user4342532

在通过配置单元运行HQL时包含以下参数。这会给你详细的日志，你可以很容易地确定根本原因。

-hiveconf hive.root.logger=DEBUG,console

我面临类似的问题，以上属性帮助我大好时光。

例如为：我得到了以下信息

16/04/14 10:29:26 ERROR exec.Task: Failed to execute tez graph. 
org.apache.tez.dag.api.TezException: org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException: Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=20480, maxMemory=11288

当我改变了我的设置11288，我的查询通过罚款去了。

希望这会帮助你。

来源

2016-04-14 17:51:36 Ambrish

配置单元tez执行错误

回答

相关问题