Spark中RDD数量的最大限制

Question

我是Spark的新手，目前正在学习相关概念。我拥有的一个基本问题是Spark中RDD的数量限制是多少？

Answer 1

据我所知，Spark中RDD的数量没有限制。

只限于内存和磁盘交换空间Spark可以扩展/使用。

我一直在生产40tb的数据，但尚未达到任何类型的限制。