直接从HDFS读取文件

Question

有没有办法直接使用HDFS路径从HDFS读取任何文件格式，而不必从HDFS本地读取文件并读取它。

Answer 1

你必须拉整个文件。无论您使用的是cat还是text命令，整个文件仍将流式传输到您的shell。命令结束时只剩下文件的剩余部分。所以，如果你计划几次检查文件，最好get它

作为一个hdfs客户端，你必须联系namenode获取特定文件的所有块位置。

Answer 2

可以与HDFS DFS尝试-cat

用法：HDFS DFS -cat [-ignoreCrc] URI [URI ...]

hdfs dfs -cat /your/path 

Answer 3

您可以在HDFS使用cat命令来读取正规文本文件。

hdfs dfs -cat /path/to/file.csv 

读取压缩文件一样gz, bz2等，你可以使用：

hdfs dfs -text /path/to/file.gz 

这些都是Hadoop的原生支持使用FsShell comamnds两种读法。对于其他复杂文件类型，您将不得不使用更复杂的方式，例如Java程序或其他类似的东西。

Answer 4

HDFS DFS - 猫/路径或Hadoop的FS - 猫/路径