0
在配置单元中,为什么桶的数量应该等于reducer的数量?为什么配置单元中的桶数应该等于reducer数?
在配置单元中,为什么桶的数量应该等于reducer的数量?为什么配置单元中的桶数应该等于reducer数?
因为这是最优化的mapreduce工作方式(其他都相同)。任务将在减速器中分配。
在hive 0.x和1.x中,您必须指定以下内容:hive.enforce.bucketing = true。这意味着reducer的数量将根据您表中桶的数量自动确定。在更高版本的配置单元(2.x)中,这是默认设置。
来源:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL+BucketedTables