0
假设我正在接收无序顺序数据流。微服务顺序数据处理
例如,输入可以是:
[
{id:1, timestamp:1},
{id:2, timestamp:1},
{id:2, timestamp:2},
{id:1, timestamp:2},
{id:3, timestamp:1}
]
每个实体由 'ID' 字段来标识。可能会有大量实体,并且每个输入的处理可能需要一些时间。 问题是我需要处理每个事件以便为每个实体接收它。
我在考虑一些解决方案,把消息放入卡夫卡主题的分区并接收并行性? 或者在成功处理后(在其他机器上或在线程池中)创建收到的消息的本地存储并标记每个实体的每个处理消息?
问题: 这是一个很好的解决方案吗? 如何在扩展数据使用者(具有固定数量的服务/创建新实例)的同时达到此功能? 也许有更好的方法来解决这类问题?
做顺序数据它只是三种吗? – Evinn
不,这只是一个例子,可能有N个不同的实体。 –
那么它将是最好的处理它在一个消费者,并使用数据库来分割过程 – Evinn