2013-09-26 57 views
1

我正在阅读Google文件系统上发布的文章,并发现GFS支持在现有文件的任意位置追加和更新。Hadoop分布式文件系统是否支持Google文件系统的任何更新操作?

据我所知,HDFS不会支持更新操作,因为它意味着只写一次并阅读许多时间功能。 HDFS现在支持附加操作。他们有dfs.support.append默认情况下设置为最近版本为false。

所以我的问题是有什么办法,我们可以进行某种更新操作。我曾尝试寻找,但我所知道的是,HDFS不支持更新操作。

希望能尽快收到您的消息。

供参考:我已经阅读了许多关于claudera和其他的文章。我能够在hadoop贡献者的一些博客中发现HDFS支持更新操作的可能性。但没有人提及或更准确地说明它如何更新操作。

回答

2

当前的主要版本,Apache Hadoop 2.0提供了几个重要的HDFS改进,包括新的append-pipeline。你可以在append design document找到详细信息。这些都是相关的门票:

HADOOP-1700

HDFS-265

顺便说一句,我曾尝试在1.x中追加为好。它工作,但不安全。

+0

感谢您的回复。那么在HDFS上是否有更新操作生成的票据或请求?他们是否真的打算将这些操作包含在Hadoop最新版本中。因为如果他们做的事情有很多事情会改变他们的方式,我们目前在hadoop中执行操作。 – user1188611

+0

你是什么意思的更新?追加以及更新。是的,2.x带有这个功能。随着更新功能的运行,事情肯定会改变。 – Tariq

+0

通过更新我的意思是,一旦我在HDFS中的文件中写了一些内容,我是否可以覆盖该文件中的内容(追加允许在文件末尾添加更多内容而不覆盖内容)?你在说,2.x允许用新内容覆盖hdfs中存在的文件中的内容。 – user1188611