不能设置起始偏移量火花eventhubs

Question

我们使用结构星火与包火花eventhubs一起流读取来自Azure的IoTHub消息。在某些结果中，Spark检查点不能按我们的要求工作。因此，我们希望能够手动设置起始偏移量。

我们的计划是手动分配的偏移量在IoThub参数映射，方法是设置：

• “eventhubs.filter.offset” - > { “partitionKey1”： “偏移1”，...}或
• “eventhubs.startingOffsets” - > {“partitionKey1”：“偏移1”，...}

两个版本都没有工作，这意味着星火总是开始从获得的最早的一条短信阅读IoTHub。

此外，我们不确定上述语法是否正常，因为没有关于此的文档。

我们使用星火2.1和火花eventhubs包从Maven的：

“com.microsoft.azure” ％ “火花流-eventhubs_2.11” ％ “2.1.1”

Answer 1

我最近几周前继承了这个库。在当前版本（2.1.5）中，不支持每个分区配置，并且缺少大量文档。

下一个版本将支持每个分区配置的起始偏移（或排队时间）和最大速率。还会有更多的改进。此外，有关配置库并将其用于结构化流，Spark Streaming和Spark Core的新文档将发布。我将很快在GitHub上发布详细的路线图。

对不起，并感谢一堆为你感兴趣。我试图鞭打图书馆，所以如果你有更多的反馈/问题，我很乐意在这里或在GitHub上聊天！