如何为EXPLAIN中的不同配置单元设置资源？

Question

有没有什么办法可以根据EXPLAIN查询中的阶段提供资源。

Answer 1

据我所知，您可以设置的唯一的东西是：

• 数R的/精确计数set mapred.reduce.tasks=**（只要它makes sense）
• R /最大计数的数量set hive.exec.reducers.max=** +暗示的计算使用M容器实际数目set hive.exec.reducers.bytes.per.reducer=*****
• 资源（使用MR时）/ set mapreduce.map.memory.mb=** + set mapreduce.map.java.opts=-XMX** <〜80总为堆的％>
每ř容器3210个
• 资源（使用MR时）/ set mapreduce.reduce.memory.mb=** + set mapreduce.reduce.java.opts=-XMX** <〜80总为堆的％>每个集装箱
• 资源（使用TEZ时）/ set hive.tez.container.size=** + set hive.tez.java.opts=-XMX** <〜80总为堆的％>

请注意，如果您的查询显示了3层地图的步骤和2减少操作步骤，该设置将应用到所有步骤 ...

参考：Hive documentation和that post for instance