2017-04-03 58 views
1

我已经在Mac &安装伪分布式模式的Hadoop 2.7.3做了所有配置,它在多元视野指定。我复制Csv文件从本地到hdfs。但第二天,当我搜索文件时,它不存在于hdfs中并自动删除。有没有其他的conf设置,以便我的文件不会丢失?伪分布式模式的Hadoop

芯-site.xml中

<configuration> 
    <property> 
     <name>fs.defaultFS</name> 
     <value>hdfs://localhost:9000</value> 
    </property> 
</configuration> 

HDFS-site.xml中

<configuration> 
    <property> 
     <name>dfs.replication</name> 
     <value>1</value> 
    </property> 
</configuration> 

谢谢,

+0

安置自己的'核心site.xml'和'HDFS-site.xml' – franklinsijo

+0

我下面设置核心的site.xml和HDFS-site.xml中 - >核心的site.xml \t <配置> \t \t \t \t \t fs.defaultFS \t \t \t HDFS://本地主机:9000 \t \t \t \t - > HDFS-site.xml中 \t - ><配置> \t \t \t \t \t dfs.replication \t \t \t \t \t \t

回答

0

添加这些属性来hdfs-site.xml

<property> 
    <name>dfs.namenode.name.dir</name> 
    <value>/home/username/hadoop-dfs/name</value> 
</property> 
<property> 
    <name>dfs.datanode.data.dir</name> 
    <value>/home/username/hadoop-dfs/data</value> 
</property> 

的元数据和数据块s默认存储在/tmp之下,因为它的值为hadoop.tmp.dir/tmp内的内容在重新启动时被删除。

添加这些属性后,格式化namenode并启动服务。

+0

感谢您的回复, 我们是否需要在“hadoop-dfs”下的用户名&“名称”,“数据”目录下创建“hadoop-dfs”目录? –

+0

仅创建'hadoop-dfs'。 'name'和'data'目录将分别由namenode和datanode创建。对于Mac,请相应地更改主路径。 – franklinsijo

+0

非常感谢。您的建议有效 –

相关问题