我一直在寻找一个默认的hadoop-metrics2.properties文件,它只是通过JMX公开所有可用的度量标准,但找不到一个。Hadoop 1.0.3的推荐默认hadoop-metrics2.properties内容是什么?
1.0.3附带的当前文件非常空,并且引用了软件包信息,该信息不会显示度量标准类的名称。
我一直在寻找一个默认的hadoop-metrics2.properties文件,它只是通过JMX公开所有可用的度量标准,但找不到一个。Hadoop 1.0.3的推荐默认hadoop-metrics2.properties内容是什么?
1.0.3附带的当前文件非常空,并且引用了软件包信息,该信息不会显示度量标准类的名称。
(以下内容添加到您的metrics2.properties为指标倾倒在每10秒,文件将在$ HADOOP_HOME /日志目录)
*.sink.file.class=org.apache.hadoop.metrics2.sink.FileSink
*.period=10
namenode.sink.file.filename=./logs/namenode-metrics.out
datanode.sink.file.filename=./logs/datanode-metrics.out
jobtracker.sink.file.filename=./logs/jobtracker-metrics.out
tasktracker.sink.file.filename=./logs/tasktracker-metrics.out
要进行远程监控启用JMX,你不需要修改你的hadoop-metrics2.properties文件。相反,您将不得不在启动脚本中添加类似于以下内容的东西:HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote.port=8004"
(该示例可能会在您的hadoop-env.sh
文件中出现)。
揭除JMX的指标,你应该注意到,所有的JMX指标都在通过HTTP(在这个例子中的NameNode)可供选择:http://namenode-host:50070/jmx
如果你想在一个地方查看您的Hadoop指标JMX连接,无需其他配置更改。只需在本地实例上运行jconsole
即可。
这是否将度量公开为jmx? –
这实际上会将通过jmx实际可用的指标转储到文件中,以便其他程序(例如Splunk)可以读取指标而无需使用JMX API。 – kiru