2014-03-19 23 views
18

我试图在Ubuntu上安装Hadoop的单个节点设置。 我开始关注instructions on the Hadoop 2.3 docsHadoop发行版missing/conf目录

但我似乎错过了一件很简单的事情。

首先,它说,

为了得到一个Hadoop发行版,从Apache下载的镜像下载一个最新的稳定版本。

然后,

解压下载的Hadoop发行版。在发行版中,编辑文件conf/hadoop-env.sh以至少将JAVA_HOME定义为Java安装的根目录。

但是,我似乎无法找到conf目录。

我在one of the mirrors下载了版本2.3。然后解压压缩包,里面回报的ls

$ ls 
bin etc include lib libexec LICENSE.txt NOTICE.txt README.txt sbin share 

我能发现他们引用的文件,只是没有在conf目录:

$ find . -name hadoop-env.sh 
./etc/hadoop/hadoop-env.sh 

我失去了一些东西,或我抓错了包吗?或者文件是否过时?

如果是这样,任何人都知道一些更新的文档是哪里?

回答

6

我认为文档需要更新。尽管目录结构已更改,但重要文件(如hadoop-env.sh,core-ste.xml和hdfs-site.xml)的文件名未更改。您可能会发现以下链接对入门很有用。

http://codesfusion.blogspot.com/2013/10/setup-hadoop-2x-220-on-ubuntu.html

+2

谢谢,这是一个伟大的博客文章,它让我更进一步,但我还是打了一些问题。即使是最基本的设置,官方文档已经过时了,这有点荒谬。这似乎是所有2x版本的情况。即使是目前的[“稳定”版本的文档](http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleNodeSetup.html)。 –

9

我试图安装一个伪分布式模式的Hadoop,运行到同样的问题。

通过以下这本书的Hadoop权威指南(第三版),618页,它说:

In Hadoop 2.0 and later, MapReduce runs on YARN and there is an additional con- 
figuration file called yarn-site.xml. All the configuration files should go in the 
etc/hadoop subdirectory 

希望这证实了etc/hadoop是正确的位置。

2

只需在博文http://codesfusion.blogspot.com/2013/10/setup-hadoop-2x-220-on-ubuntu.html上添加备注即可。这篇博文很棒,非常有用。我就是这样开始的。我花了一点时间来研究的一个方面是,这个博客似乎使用了一种在hadoop conf文件中提供配置的简化方式,例如“conf/core-site.xml”,hdfs-site.xml 等。 。如下

<!--fs.default.name is the name node URI --> 
<configuration> 
    fs.default.name 
    hdfs://localhost:9000 
</configuration> 

按照官方的文档有一个更严格的方式 -

- 当你有一个以上的特性就是添加如下它(描述是可选的:-)请注意),这将是有益的
<configuration> 
    <property> 
    <name> fs.default.name </name> 
    <value>hdfs://localhost:9000 </value> 
    <description>the name node URI </description> 
    </property> 
    <!--Add more configuration properties here --> 
</configuration> 
1
Hadoop中

2.7.3该文件是在Hadoop的公共/ SRC /主/ CONF/

$ sudo find . -name hadoop-env.sh 
./hadoop-2.7.3-src/hadoop-common-project/hadoop-common/src/main/conf/hadoop-env.sh 
5

在Hadoop1,

{$HADOOP_HOME}/conf/ 

在Hadoop2,

{$HADOOP_HOME}/etc/hadoop