HDInsight性能问题 - 地图缩小

Question

我正在研究HDInsight地图缩小。性能非常糟糕。

我已经创建映射键，如下值：

Mapper.key = “RequesitID”

Mapper.Value = “姓名|年龄|日期|国家”

而在减速只是添加映射键和值：

减速= Mapper.Key + Mapper.Value

任何人都可以建议的最佳实践和方法来提高性能？

Answer 1

我们需要更多信息。你有多少mappers和reducer？

一般来说，优化MR疑问，认为有关调整的映射器和减缩如下所示：http://wiki.apache.org/hadoop/HowManyMapsAndReduces

为了优化配置单元查询，看看这个链接：https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-optimize-hive-query/