基准Hadoop Map-Reduce应用程序

我需要根据作业执行时间比较两种Hadoop调度算法。我可以使用什么来获取所有任务的执行持续时间？基准Hadoop Map-Reduce应用程序

2013-06-05 MihaelaO

JobTracker的web用户界面让你非常有用的报告，允许一切比较起来到每个映射器和缩减器的可用日志。

也看mrbench类内hadoop-test.jar档案。网络上有大量关于其用于Hadoop集群基准测试的信息，如this article。

2013-06-06 14:23:00

感谢罗马人，mrbench类是我正在寻找。 – MihaelaO

你可以看到来自该地址的任务和作业的详细信息：

http://hostnameofmachinerunningtheJobTracker:50030/jobtracker.jsp

你可以有其他的信息从link

2013-06-05 14:22:41 Alper

它实际上应该是运行JobTracker服务的机器的主机名。如果它不在与NameNode相同的机器上，那么您必须牢记这一点。并没有什么像HDFS的主机名称。 HDFS遍布所有机器。有NameNode主机名或DataNode主机名。 – Tariq

你是对的我正在编辑我的答案。 – Alper

我正在终端上运行远程网格上的作业，并且我无法访问查看此信息的界面。 Hadoop是否也将这些信息存储在日志文件中？ – MihaelaO

回答