我正在使用Java Spark API,对于KafkaUtils.createDirectStream,我想跟踪偏移量。 有一个名为fromOffset的参数,它记录了Kafka主题分区中的偏移量。对于第一次运行,我不知道将有多少个分区,那么如何设置此参数? 并且我是否需要在Kafka参数中设置“auto.offset.reset”? 如果是,它会影响我的代码从已知的偏移中恢复吗?Spark Streaming Kafka初始偏移量
0
A
回答
0
你有两种选择:
的情况下,你没有关于partions的任何信息,不提供参数去createDirectStream。 createDirectStream方法有几个实践。在这种情况下,或者每个topicPartition将使用最早或最近的偏移量(基于
auto.offset.reset
param)您可以使用通常的kafka API找到分区,偏移量。例如外观How to find the offset range for a topic-partition in Kafka 0.10?
+0
谢谢!反正Kafka 0.8有吗?因为0.10是实验性的API – peng
相关问题
- 1. Kafka Spark-Streaming偏移问题
- 2. Spark Streaming Kafka java.lang.ClassNotFoundException:org.apache.kafka.common.serialization.StringDeserializer
- 3. Spark Streaming Kafka backpressure
- 4. Spark-Streaming Kafka Direct Streaming API&Parallelism
- 5. Spark + Kafka streaming NoClassDefFoundError kafka/serializer/StringDecoder
- 6. Spark streaming kafka找不到集合的领导者偏移
- 7. Spark Streaming + kafka“JobGenerator”java.lang.NoSuchMethodError
- 8. UIScrollView初始偏移量
- 9. Kafka Streaming + Spark Streaming +机器学习
- 10. java.lang.NoClassDefFoundError:org/apache/spark/streaming/kafka/KafkaUtils
- 11. 在Spark Streaming中的Kafka createDirectStream
- 12. spark-streaming-kafka-0-10:如何限制Spark分区的数量
- 13. zkClient不能被Serializabled,sparkstreaming写kafka偏移量到zookeeper
- 14. Pyspark Kafka Streaming
- 15. 未初始化的数组偏移量
- 16. 如何设置初始ScrollView偏移量?
- 17. 使用Apache Spark批处理Apache Kafka的偏移管理
- 18. kafka和Spark:通过API获取主题的第一个偏移量
- 19. 是否支持spark-streaming-kafka-0-10 lib?
- 20. 从Spark Streaming将数据推送到Kafka
- 21. Spark Streaming - Java - 从Kafka插入JSON到Cassandra
- 22. 由于InvalidClassException,Spark Kafka Streaming作业失败
- 23. Spark Streaming - Kafka- createStream - RDD到数据帧
- 24. apache spark streaming - kafka - 阅读旧信息
- 25. 在Spark Streaming中重用kafka制作者
- 26. spark-streaming-kafka-0-10 auto.offset.reset始终设置为none
- 27. Horizontalscrollview初始偏移值
- 28. WhirlyGlobe初始旋转偏移
- 29. Kafka Streaming Concurrency?
- 30. Kafka喜欢Kinesis Stream上的偏移量?
如果您不知道分区数量,您如何知道每个分区的起始偏移量? – Mariusz
如果我将“auto.offset.reset”设置为最小或最大,我仍然可以从每个红色获得分区和偏移信息 – peng