对HDFS的Spark需求

Question

大家好，我可以解释一下，Apache的Spark Standalone需要HDFS吗？

如果需要在Spark应用程序执行期间Spark如何使用HDFS块大小。 我的意思是试图理解Spark应用程序执行期间HDFS角色是什么。

Spark文档说处理并行性是通过RDD分区和执行程序/内核来控制的。

任何人都可以请帮我理解。

Answer 1

如果不使用HDFS，Spark可以毫无问题地工作，而且肯定不需要核心执行。

一些分布式存储（不一定是HDFS）是检查点定位所必需的，对于保存结果很有用。