Apache Spark Streaming：为什么每秒事件数量在增加？

Question

我发现我的流应用程序中的事件数/秒突然增加（请参见截图）。我确信发件人在这些时刻不会发送更多数据（它总是每个TCP发送800 - 900条消息）。我想它与下面的其他时间（处理/延迟）有关，但为什么这会显示在事件计数图表中？有人可以更准确地解释那里发生了什么吗？谢谢！

Answer 1

事件的数量直接关系到生产者。这意味着您的制作人会随着时间的推移增加发送速率。在屏幕截图的那一刻，平均收到的消息吞吐量为953 msgs/s，高于预期的850，将问题中提到的800-900范围视为正态分布。

检查生产者是否有这种增加的特殊原因。