3
我们有来自kafka的spark流在HDFS服务器中创建检查点，并且没有清理干净，现在我们在HDFS中有数百万个检查点。有没有办法从火花自动清理它？Spark Streaming清理RDD检查点目录
星火1.6版 HDFS 2.70
A
回答
2
val conf = new SparkConf().set("spark.cleaner.referenceTracking.cleanCheckpoints", "true")
清洗不应该对所有检查点自动完成，就必须围绕让他们跨过火花invocations.As星火流节省了中间状态的数据集作为检查点并依靠它们从驱动器故障中恢复。
相关问题
- 1. Spark Streaming DStream元素vs RDD
- 2. Spark Streaming Empty RDD问题
- 3. Spark Streaming检查点引发S3异常
- 4. Spark Streaming检查点失败后读取
- 5. Spark无效的检查点目录
- 6. Spark - Rdd字符串清理/操作
- 7. Spark Streaming - Kafka- createStream - RDD到数据帧
- 8. 将Spark Streaming RDD推送到Neo4j -Scala
- 9. Spark Streaming中已处理的批次与RDD
- 10. 是否有可能从Spark-streaming检查点恢复广播值
- 11. Spark Streaming - 从检查点重新开始重播上一批
- 12. Spark Kinesis流检查点恢复：RDD空指针异常
- 13. Spark Streaming Multiple Streaming Jobs
- 14. RDD分区火花Streaming
- 15. Apache Spark RDD值查找
- 16. Array [Byte] Spark RDD to String Spark RDD
- 17. Spark-Streaming Kafka Direct Streaming API＆Parallelism
- 18. 使用Spark Streaming将rdd保存到Hbase时的java.io.NotSerializableException
- 19. 如何从Spark Streaming中的DStream中删除RDD？
- 20. Spark Streaming textFileStream COPYING
- 21. Spark Twitter Streaming
- 22. Spark Streaming HiveContext NullPointerException
- 23. Spark Streaming，kafka：java.lang.StackOverflowError
- 24. Spark Streaming Flume Integration
- 25. Spark Scala Streaming CSV
- 26. Spark Streaming MYsql
- 27. Spark Streaming dropDuplicates
- 28. Spark Streaming JavaCustomReceiver
- 29. Spark Streaming Kafka java.lang.ClassNotFoundException：org.apache.kafka.common.serialization.StringDeserializer
- 30. apache spark Streaming error
谢谢，但我看到除检查点以外的随机数据，它没有清除它，你有什么想法是什么？在上述问题中添加了一个图像 – Sads
实际上，即使您设置了'--conf spark.cleaner.referenceTracking.cleanCheckpoints = True'，火花作业的最后一个检查点也不会被清除。 – asmaier