是否可以写入远程HDFS？

作为标题，是否可以写入远程HDFS？是否可以写入远程HDFS？

E.g.我在AWS EC2上安装了HDFS集群，并且想从本地计算机向HDFS集群写入文件。

来源

2015-09-29 Tommy

两种方法，你可以写信给远程HDFS，

使用WebHDFS api available.It支持外运行 Hadoop集群访问和操作的HDFS内容的系统。它不需要客户端系统安装hadoop二进制文件。
将客户端系统配置为Hadoop edge node与Hadoop集群/ HDFS的进行交互。

请参考，

https://hadoop.apache.org/docs/r1.2.1/webhdfs.html

http://www.dummies.com/how-to/content/edge-nodes-in-hadoop-clusters.html

来源

2015-09-29 10:51:12 sureshsiva

感谢您的答复，我只是想进一步的讨论。从http://hadoop.apache.org/docs/r1.2.1/hdfs_design.html，“客户端创建文件的请求不会立即到达NameNode。实际上，HDFS客户端最初将文件数据缓存到临时本地文件“，这是客户端不能直接写入远程HDFS的原因吗？因此，它必须在HDFS集群内。 – Tommy

是的，差不多..连接到'remote HDFS'的客户端应该事先知道它的配置细节，以便它可以按照hdfs conf将文件分割成块，并按照**中指定的方式写入HDFS。在上面的链接中登台**话题。这是配置'边缘节点'时以及使用'hadoop dfs'命令时会发生的情况。 – sureshsiva

这是否意味着我必须让我的本地客户端成为HDFS集群的一部分？那么DataNode将在我的本地客户端上运行？ – Tommy

是否可以写入远程HDFS？

回答

相关问题