0
我想处理每M分钟的最后N小时数据。数据通过pubsub进行各种延迟,但由于时间偏差或数据滞后,我不想延迟窗口触发。也就是说,我只是想处理触发时可用的数据,并希望根据挂墙时间触发(但每个窗口应包含基于数据事件时间的[触发时间 - M小时,触发时间]之间的数据。)如何定期触发窗口?
我想使用SlidingWindows,但触发是基于事件时间,似乎由于数据滞后而延迟。
这样做的最好方法是什么?
感谢,
我想处理每M分钟的最后N小时数据。数据通过pubsub进行各种延迟,但由于时间偏差或数据滞后,我不想延迟窗口触发。也就是说,我只是想处理触发时可用的数据,并希望根据挂墙时间触发(但每个窗口应包含基于数据事件时间的[触发时间 - M小时,触发时间]之间的数据。)如何定期触发窗口?
我想使用SlidingWindows,但触发是基于事件时间,似乎由于数据滞后而延迟。
这样做的最好方法是什么?
感谢,
您应该使用AfterProcessingTime.pastFirstElementInPane().plusDelayOf(...)触发与FixedWindows。这将按照您的描述进行。