2016-01-15 113 views
1

我正在使用Hadoop 2.6.2在Ubuntu 14.04 VM中进行开发/研究,而且我经常被拒绝,因为我向hdfs发出的任何命令总是需要大约15秒才能运行。我尝试过挖掘,但我无法找到问题的根源,或者即使这是预期的行为。Hadoop standalone - hdfs命令很慢

我跟着directions on Apache's website并成功地得到它启动和运行/opt/hadoop-2.6.2/

就好了以下是我使用的评估,如果我已经解决了一个简单的测试命令问题。

/opt/hadoop-2.6.2/bin/hdfs dfs -ls/

我检查了日志,发现没有错误或奇怪的警告。我在网上找到的建议是设置记录器输出控制台。

HADOOP_ROOT_LOGGER=DEBUG,console /opt/hadoop-2.6.2/bin/hdfs dfs -ls/

这样做会产生一些有趣的事情。你可以看到它挂在下面。

16/01/15 11:59:02 DEBUG impl.MetricsSystemImpl: UgiMetrics, User and group related metrics 
16/01/15 11:59:17 DEBUG util.KerberosName: Kerberos krb5 configuration not found, setting default realm to empty 

思考:当我第一次看到这个我认为这是挂在身份验证,但我不仅没有安装的Kerberos,核心-site.xml中的默认配置显示设置为“简单的身份验证模式”。这让人想知道为什么它会查找与之相关的任何Kerberos。我试图在xml中专门禁用它,并且滞后/缓慢没有消失。我有点感觉到延迟是因为它的等待时间。有没有其他人有任何想法?

回答

0

我只是继续前进并安装Kerberos,只是为了看看它是否会工作。现在存在/etc/krb5.conf,大的延迟消失了。我想知道我是否可以创建没有任何内容的文件。 Hrmmm ...

sudo apt-get install krb5-kdc krb5-admin-server