有没有办法使用eclipse来调试hadoop的namenode或datanode？

Question

我认为如果我可以在伪分布式模式或完全分布式模式下调试namenode和datanode的真实工作机制，我对Hadoop的详细了解是非常好的。

我认为apaceh hadoop团队或.. hadoop，hdfs或mapreduce的任何主要开发人员都可以做到这一点，但没有提及此方法的文档。

每篇文档都提到我们如何在本地环境中使用eclipse调试mapreduce。这意味着LocalJopRunner正在运行，我们可以看到LocalJobRunner如何运行。

谢谢。

Answer 1

您可以找到Developing Hadoop Wiki在这个详细的信息。它有详细信息的东西，如如何设置你的开发环境，如何发展单元测试等

HTH

Answer 2

要调试Hadoop守护进程，而不是How to debug hadoop mapreduce jobs from eclipse?那么你可以添加Java调试选项到/ etc /默认/ hadoop-daemon-name

eg调试名节点以下内容添加到在/ etc /默认/ Hadoop的HDFS-的NameNode

export HADOOP_OPTS="$HADOOP_OPTS -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=8000" 

然后你就可以远离日食连接到您的NameNode端口8000。 明显地将它删除，因为它会打开您的名字节点，导致世界上任何地方的潜在滥用！