如何处理flink streaming作业中的背压？

我正在运行一个流式flink作业，它将使用来自kafka的流式数据，并对flink地图函数中的数据执行一些处理，并将数据写入Azure数据湖和弹性搜索。对于map函数，我使用了一个并行性，因为我需要在我作为全局变量维护的数据列表中逐个处理传入数据。现在，当我在flink开始从kafka获取流数据时运行这个工作时，它的背压在map函数中变得很高。是否有任何设置或配置可以做到避免flink中的背压？ enter image description here 如何处理flink streaming作业中的背压？

来源

2017-07-22 dhinesh

你好，欢迎来到SO！我想为您提供一些SO文档，以帮助您提出更好的问题。例如，您可能对[我们在此讨论的主题]（https://stackoverflow.com/help/on-topic）感兴趣，[提出'好'问题的方式]（https://stackoverflow.com/帮助/如何操作）以及[创建最小，完整且可验证的示例的方式]（https://stackoverflow.com/help/mcve）。如果你觉得它有用，你仍然可以编辑你的问题。 –

对给定运算符的背压指示下一个运算符正在缓慢地消耗元素。从你的描述看来，其中一个汇点表现不佳。考虑扩大接收器，为解决问题注释接收器，和/或调查您是否达到Azure速率限制。

来源

2017-07-22 22:20:14

如何处理flink streaming作业中的背压？

回答

相关问题