如何使用yourkit配置hadoop任务

Question

我正在尝试配置我的hadoop作业的内存使用情况。

有人可以提供一步一步的如何使用yourkit监视hadoop任务 - 包括设置？

Answer 1

所有你需要做的就是下面的条目添加到您的mapred-site.xml文件（其中若发现$ HADOOP_HOME/conf目录/，其中$ HADOOP_HOME是您的Hadoop的安装目录）：

<property> 
    <name>mapred.child.java.opts</name> 
    <value> 
-agentpath:{yourkit installation directory}/bin/linux-x86-64/libyjpagent.so=tracing,dir={output directory} 
</value> 
</property> 

如果你是从Linux的x86-64的不同的平台上运行，则可能需要更改上述值以符合您的平台（见this了解详细信息）

您可以通过任一列出here到监视程序代理

选项

这将创建多个快照，每个子进程在指定的输出目录中都有一个快照