0
在NameNode和JobTracker不是同一台服务器的hadoop集群(1.x版本)中,需要在NameNode和JobTracker上还是仅在NameNode上指定conf/masters和conf/slaves?我似乎无法在文档中找到直接的答案。hadoop conf/masters和conf/slaves在jobtracker上?
在NameNode和JobTracker不是同一台服务器的hadoop集群(1.x版本)中,需要在NameNode和JobTracker上还是仅在NameNode上指定conf/masters和conf/slaves?我似乎无法在文档中找到直接的答案。hadoop conf/masters和conf/slaves在jobtracker上?
conf文件夹中的从站和主站文件仅由bin文件夹中的start-mapred.sh,start-dfs.sh和start-all.sh脚本使用。这些脚本是便利的脚本,您可以在单个节点上运行这些脚本,以便进入每个主/从节点并启动所需的hadoop服务守护程序。这些脚本也意味着从适当的“主”节点中启动:
奴隶的节点上运行文件列出了所有计算节点主机名(即要运行数据节点和任务跟踪的节点r服务),而主文件包含要运行辅助名称节点的节点的主机名。
考虑到这一点,您只需要在名称节点上显示从属和主文件文件,并且仅当您计划从此单个节点启动群集时(使用无密码ssh)。
感谢您的回复(我最终在文档中遇到过这个问题)。如果Job Tracker与名称节点不同,那么conf/slaves是否需要同时使用? –
这是正确的是 –
谢谢。最后一个问题。你会推荐使用Zookeeper来做类似的事吗?还是有其他工具会更好?似乎这是zookeeper的设计目的。 –