Web应用程序体系结构 - 作业/任务队列需要吗？

Question

我目前正在设计一个Web应用程序，它将允许用户安排将针对HTTP API（代表他们）执行的任务。这些任务可以重复发生，可用于调度的最小时间分辨率将为一分钟。由于任务的性质，我认为非同步地执行它们是有意义的。但是，这部分的结构应该如何？

我曾考虑过使用任务队列来创建Web应用程序的任务，并让它们由工作人员执行。在这种情况下，我有几个问题：

• 如何处理重复执行的任务？
• 如何轻松保存任务的结果？
• 是否容易使队列“持久”？
• 工作人员应该直接与数据库交互吗？
• 我应该手动排列循环任务吗？

我还能考虑什么？因为我认为我不是唯一一个想到这种Web应用程序架构的人，有没有什么“最佳实践”？任务队列要走吗？

Answer 1

是的这是一个众所周知的模式，用于处理Web应用程序后端的长期任务。根据您的语言和应用程序框架，有许多队列实现 - 例如Resque或Beanstalkd或ActiveMQ或者如果您的性能要求不高，可以使用数据库表作为一种队列。

基本思想是您的Web应用程序将作业放置在具有足够内容的队列中，以启用作业继续。后台的一组工作进程（最好独立于Web应用程序运行）从队列中读取作业并执行它们。结果可以写回到回复队列中，或写入数据库。这取决于你想如何显示结果回给用户。对于Web应用程序，将结果写入数据库可能更有意义。

根据您的队列处理程序，他们可以使作业持久。例如。 ActiveMQ支持持久消息传递，以便在发生故障时恢复队列中的消息。

你问关于经常性工作 - 我想答案取决于他们何时需要复发。

直接消息队列将在工作人员可用时立即处理/释放消息。所以调度是棘手的或不可能的。为了支持预定作业（包括在给定时间或经过一段时间后重复出现的作业），您应该将数据库表用作具有“开始时间”属性的简单队列。

我最近描述了一个类似的模式here。