我正在使用Hadoop 2.6.2在Ubuntu 14.04 VM中进行开发/研究,而且我经常被拒绝,因为我向hdfs发出的任何命令总是需要大约15秒才能运行。我尝试过挖掘,但我无法找到问题的根源,或者即使这是预期的行为。Hadoop standalone - hdfs命令很慢
我跟着directions on Apache's website并成功地得到它启动和运行/opt/hadoop-2.6.2/
就好了以下是我使用的评估,如果我已经解决了一个简单的测试命令问题。
/opt/hadoop-2.6.2/bin/hdfs dfs -ls/
我检查了日志,发现没有错误或奇怪的警告。我在网上找到的建议是设置记录器输出控制台。
HADOOP_ROOT_LOGGER=DEBUG,console /opt/hadoop-2.6.2/bin/hdfs dfs -ls/
这样做会产生一些有趣的事情。你可以看到它挂在下面。
16/01/15 11:59:02 DEBUG impl.MetricsSystemImpl: UgiMetrics, User and group related metrics
16/01/15 11:59:17 DEBUG util.KerberosName: Kerberos krb5 configuration not found, setting default realm to empty
思考:当我第一次看到这个我认为这是挂在身份验证,但我不仅没有安装的Kerberos,核心-site.xml中的默认配置显示设置为“简单的身份验证模式”。这让人想知道为什么它会查找与之相关的任何Kerberos。我试图在xml中专门禁用它,并且滞后/缓慢没有消失。我有点感觉到延迟是因为它的等待时间。有没有其他人有任何想法?