Hadoop - 当多个进程试图同时写入同一个文件时会发生什么？

当多个进程试图同时写入同一个文件时会发生什么？它甚至有可能吗？有缓冲吗？Hadoop - 当多个进程试图同时写入同一个文件时会发生什么？

不要忘记，一旦文件存在于HDFS中，它就会被读取（或删除） - 只有 –

@JohnB和附加 – climbage

@climbage没有注意到在API中。谢谢！ –

hadoop fs -put通过API将文件写入HDFS是原子性的。一次写入将失败，因为该文件已存在，另一次将写出其内容。

2013-10-31 13:05:17

但如果我试图从两个不同的进程同时追加到现有的文件呢？ – arunimsamat

HDFS不支持。但为什么？？你会用两个进程追加到本地文件系统上的现有文件吗？没有！几乎不可能保证被附加字节的顺序，所以你不会得到干净的记录边界......它只会被混合在一起并被破坏。 –

追加是可能的http://hadoop.apache.org/docs/stable/api/org/apache/hadoop/fs/FileSystem.html我想问什么 - 是否有某种本地缓冲的附加请求，所以那一个追加发生在另一个之后？ – arunimsamat

回答