在私有云中使用Cloudera Manager的HDFS

Question

这让我疯狂。我一直在为此工作好几天，似乎无法解决这个问题。我有一个运行在eucalyptus上的私有云进行测试，4个虚拟机运行Ubuntu 12.04。我试图让cloudera运行HDFS和map-reduce，但是当我尝试启动它时，数据节点似乎无法与名称节点进行通信。它安装正常，并通过所有的启动前检查。主机文件全部使用127.0.0.1本地主机设置，其他虚拟机的IP和主机名，防火墙全部禁用，安全组设置为允许所有内容。我可以通过telnet和名称节点上的netstat连接到8022端口从数据节点到名称节点，名称节点如下所示：

tcp 0 0 172.31.254.119:9000 0.0.0.0:* LISTEN 6519 /蟒
TCP 0 0 0.0.0.0:7432 0.0.0.0:* LISTEN 5672/postgres的
TCP 0 0 127.0.0.1:9001 0.0.0.0:* LISTEN 6538 /蟒
TCP 0 0 172.31.254.119:50090 0.0 .0.0：* LISTEN 8694/JAVA
TCP 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 5680/JAVA
TCP 0 0 0.0.0.0:7182 0.0.0.0:* LISTEN 5680/JAVA
TCP 0 0 172.31.254.119:802 0 0.0.0.0:* LISTEN 8689/JAVA
TCP 0 0 172.31.254.119:50070 0.0.0.0:* LISTEN 8689/JAVA
TCP 0 0 172.31.254.119:8022 0.0.0.0:* LISTEN 8689/JAVA
TCP 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 576/sshd的
TCP 0 0 127.0.0.1:5432 0.0.0.0:* LISTEN 5486/postgres的
TCP6 0 0 ::: 7432 ::: * LISTEN 5672/Postgres的
TCP6 0 0 ::: 22 ::: * LISTEN 576/sshd的

但我不断收到错误是：

未能发布事件：SimpleEvent {attributes = {STACKTRACE = [org.apache.hadoop.ipc.RemoteException（org.apache.hadoop.hdfs.server.protocol.DisallowedDatanodeException）：Datanode拒绝与namenode进行通信：DatanodeRegistration（ 172.31.254.110，storageID = DS-1259113373-172.31.254.110-50010-1378398035331，信息港= 50075，ipcPort = 50020，storageInfo = LV = -40; CID = cluster9; NSID = 46459994; C = O）

我将不胜感激来自任何具有更多Linux/cloudera/eucalyptus经验的任何人的建议然后我。

谢谢大家。

Answer 1

您已指定您正在使用环回，但DN将自己标识为172.31.254.110。使用正确的主机名而不是127.0.0.1。为了更安全一方，将每台机器的主机名和IP添加到所有其他机器的/ etc/hosts文件中。如果问题仍然存在，请向我展示您的配置文件。