为什么hadoop 1.0.3中的reducer很慢

-2

我在java-oracle 7上使用hadoop 1.0.3 - 当我在大约1.5GB大小的大数据中运行字数计算代码时，需要很长时间才能减少覆盖范围到复制步骤10个小时以上。与16节点系统;一个naster和15从每个节点具有：群集总结如下：为什么hadoop 1.0.3中的reducer很慢

Configured Capacity: 2.17TB 
DFS Used: 4.23GB 
Non DFS USed:193.74GB 
DFS Remaining: 1.98TB 
DFS Used%: .19% 
DFS Remaining%: 91.09% 
Live Nodes: 16 
Dead Nodes: 0 
Decomissioned Nodes: 0 
Number of Under Replicated Blocks: 0

the reducer output

我尝试将其与29映射器和1轮减速机，16减速机，35减速机，56减速机...问题是一样的，错误出现“太多取料故障”

来源

2015-12-25 seso

正在使用多少个映射器和减速器？
看起来你正在使用非常少量的减速器。
由于还原剂数量较少，您将观察到性能较差。
您需要根据您的上下文和可用工作节点的数量来配置映射器和缩减器。

来源

2015-12-25 16:19:25

28映射器和一个reducer ....什么适合的reducer – seso

如果你有16个节点，比你有至少16个reducer是有道理的。为您提供的默认值并不总是很好。 –

根据公式（节点* mapred.tasktracker.tasks.maximum）* {。95或1.75}将其增加到16和35,56，但出现“太多取出故障”错误 – seso

为什么hadoop 1.0.3中的reducer很慢

回答

相关问题