如何从Spark Dataproc检查Google存储中是否存在文件？

Question

我是假设，谷歌存储连接器将允许查询GS直接，如果它是HDFS从Dataproc星火，但它看起来像下面没有（从星火壳牌）工作：

是否有仅使用Hadoop API访问Google Storage文件的方式？

Answer 1

这是因为FileSystem.get(...)返回默认FileSystem根据您的配置是HDFS，并且只能使用从hdfs://开始的路径。使用以下来获得正确的FS。

Path p = new Path("gs://..."); 
FileSystem fs = p.getFileSystem(...); 
fs.exists(p);