2016-11-16 89 views
0

一旦我们坚持RDD在内存中,它会在内存中有多长时间?如果我们从火星壳出来,我们可以访问相同的东西吗?Apache Spark Rdd持续存在

+0

最好的方法是查询它并找出答案。 – Raghuveer

+0

哦! gr8回答 –

+0

RDD's被存储为spark执行器JVM中的反序列化java对象。只要JVM处于活动状态并且在退出火花外壳时不再存在(即垃圾收集),它们就会继续存在。 – BigDataScholar

回答

2

如果您脱离了shell,那么您的RDD将不再可访问或存储在内存中,用于下一个spark-shell或任何其他进程的实例。

+0

谢谢伙伴 :) –