1
火花作业成功完成后，持续的Spark RDD会发生什么？Spark Job完成后持续的RDD会发生什么？
我们是否需要明确地编写一些代码以使其不符合要求？
或
不存在于每一坚持RDD unpersisting自动发生？
A
回答
2
我们需要明确地编写一些代码来unpersist呢？
是
是否unpersisting自动为每个坚持RDD发生什么呢？
没有，你需要通过调用
RDD.unpersist()
或
df1.unpersist()
并做明确总是unpersist血统结束后的DF，涉及持久性/缓存DF最后一个动作后， 。
1
火花的官方文件说
火花自动监视每个节点上高速缓存的使用，并滴出在一个最近最少使用（LRU）方式的旧数据的分区。如果您想要手动删除RDD而不是等待其从缓存中删除，请使用RDD.unpersist（）方法。
请看看http://spark.apache.org/docs/latest/programming-guide.html#removing-data
相关问题
- 1. 在Spark Job Server中持久/共享RDD
- 2. onClick完成后会发生什么。 Android
- 3. Apache Spark Rdd持续存在
- 4. 在动作之前UNION父rdd和子rdd会发生什么？
- 5. Android，活动完成（）会发生什么？
- 6. CompletableFuture未完成时会发生什么？
- 7. 改造请求完成后会发生什么？
- 8. Git克隆完成后会发生什么？
- 9. 完成DNS更改后，旧重定向会发生什么
- 10. 当下一个RDD实现时，以前的RDD会发生什么？
- 11. 先发生什么 - Symfony2持续存在
- 12. 会发生什么成员
- 13. Spark中的RDD持久性
- 14. onDestroy（）后会发生什么
- 15. Form.Close后会发生什么？
- 16. EntityManager.persist（）后会发生什么
- 17. netdev_open后会发生什么？
- 18. * ngFor后会发生什么？
- 19. Spark RDD动态密钥生成器
- 20. 不完整的robots.txt，会发生什么？
- 21. 什么是持续集成？
- 22. 使用Task.Factory.StartNew时完成的任务会发生什么
- 23. 设备上的调试完成后，iOS应用会发生什么情况？
- 24. ASP.Net webservice中的多线程 - 主线程完成后会发生什么？
- 25. Spark Launcher无法触发Spark Job？
- 26. 如何从持续的RDD构建DStream？
- 27. Spark DataSet和RDD有什么区别
- 28. 为什么Spark SQL UDF比RDD慢？
- 29. 如果客户确认没有完成会发生什么？
- 30. 如果SQL作业没有完成，会发生什么？
是的，非常感谢您的干净答案。最后一次行动后，我将不执行我的DF。 –
@ sanket：如果我在Spark Job中只有一个Action，那么坚持RDD是否是一个好习惯。如果坚持使用RDD，我在性能方面是否会获得任何好处？ –