简而言之:我应该每隔启动HDFS ,以便在关闭操作后回到集群?每次启动时手动启动HDFS?
我已经成功地创建了一个Hadoop集群(loosing some battles后),现在我想成为这个进展非常小心。
我每次开机启动集群还是准备执行我的应用程序代码时,是否应该执行start-dfs.sh
? start-yarn.sh
。
恐怕如果我运行它没有一切正常,它可能会在执行后留下垃圾目录。
简而言之:我应该每隔启动HDFS ,以便在关闭操作后回到集群?每次启动时手动启动HDFS?
我已经成功地创建了一个Hadoop集群(loosing some battles后),现在我想成为这个进展非常小心。
我每次开机启动集群还是准备执行我的应用程序代码时,是否应该执行start-dfs.sh
? start-yarn.sh
。
恐怕如果我运行它没有一切正常,它可能会在执行后留下垃圾目录。
从玩弄Hortonworks和Cloudera沙箱,我可以说打开和关闭他们似乎并没有表现出任何“副作用”。
但是,每次群集启动时都需要启动所需的服务。
就功率循环进入真正的集群而言,建议在断开其各个节点上的服务(stop-dfs.sh
和stop-yarn.sh
)之前停止运行。这样就没有奇怪的问题,停止服务的任何错误都会在每个节点上正确记录。
如何断电?在你的答案中有这个很好。 :) – gsamaras
嗯。我在Hortonworks安装上使用Ambari或在Cloudera上使用Cloudera Manager ....对于开始的脚本,是否有相同的脚本文件? –
所以你在Ubuntu本地安装hadoop?然后分布式/群集计算的标签有点多 –
virtualbox扮演其他节点@ cricket_007的角色。 – gsamaras
那么2个节点?本地和VirtualBox? hdfs的默认复制因子是3个节点 –