重用缓存的Spark RDD

2017-01-18 101 views 1 likes

Spark中是否有可能在另一个应用程序（或同一应用程序的另一个运行中）中重新使用缓存的RDD？重用缓存的Spark RDD

JavaRDD<ExampleClass> toCache = ... // transformations on the RDD 
toCache.cache();     // can this be reused somehow in another application or further runs?

来源

2017-01-18 D. Müller

回答

不，Spark RDD不能用于其他应用程序或其他应用程序。

您可以连接Spark，例如Hazelcast或Apache Ignite以将RDD保存在内存中。其他应用程序将有可能读取保存在第一个应用程序的数据

来源

2017-01-18 14:29:11

感谢您的快速和良好的答案！ –

重用缓存的Spark RDD

回答

相关问题