Flink动态缩放

Question

我目前正在研究Flink的可伸缩性。从版本1.2.0开始，引入了动态重新缩放。我正在考虑扩展从卡夫卡源读取数据的长时间运行的作业。

有关动态缩放的问题。

1. 要扩展我的flink应用程序，例如：添加新任务管理器，我必须重新启动作业/纱线会话以使用新添加的资源吗？
2. 我认为可以编写Yarn客户端来部署新的任务管理器，并使其与作业管理器交谈，这在现有的flink纱线客户端应用程序中是否已经可用？

请原谅我，如果这些问题太基本了，我确实仔细阅读了文档，我不得不承认，我最近没有能够将这些概念完全放在纱线上的一些测试部署中。

Answer 1

当前，动态缩放意味着能够更新运算符的并行性（Flink 1.2），无论是针对键控状态还是针对非键控状态。

1. 进行扩展，我弗林克的应用程序，例如：添加新的任务管理器，我必须重新启动作业/纱会话使用新增加的资源？ - 是，必须先停止作业，更新并行性并重新启动。不必担心状态，Flink会处理它们，包括重新分配。

2. 我认为这是可以写的纱线客户部署新的任务管理器，并使其跟工作的经理，是在现有的弗林克纱客户端应用程序已经可用？ - 否，你不行。这个功能似乎将来会增加。目前，我们不能这样做。