从流中一次执行任务

Question

我正在使用文件源流组件来从目录读取文件，并将文件实例发送到自定义处理器，该自定义处理器读取文件并使用TaskLauncher接收器启动特定任务。如果我在目录中放置5个文件，则同时启动5个任务。我试图实现的是让每个任务都一个接一个地执行，所以我需要监视任务的状态以确保先前的任务已经完成，然后再启动另一个任务。我有什么选择来实现这个？作为一个侧面说明，我正在Yarn群集上运行它。

感谢，

-Frank

Answer 1

我认为纱线TaskLauncher异步任务启动可能是使它看起来像所有的任务都在同一时间推出的原因。你可以尝试的一种可能的方法是在开始处理下一个触发请求之前，使任务启动器sink的launches任务和waits的任务状态为completed。