处理在多个实例上运行的Web服务的故障

Question

我正在构建一个应用程序，该应用程序将调用具有2个相同实例的Web服务，每个实例在不同的服务器上运行，并拥有自己的IP。

该应用程序可以随时调用任何服务实例，但有时可能会遇到困难之一（由于网络故障或实例问题）获取响应。

什么是推荐的方式使应用程序自动停止使用有问题的实例？

如何重新使用实例？

是否有标准库或工具来帮助这种情况？

Answer 1

使用负载平衡器。

您的应用程序必须连接到LB，而不是直接连接到Web服务器。 LB保持每个配置的服务器的状态（通过超时或明确的http状态调用）。它们会自动禁用断开连接的服务器的流量，并在实例恢复后启用它。

稍后，您可以根据自己的要求（手动或自动缩放）添加或删除实例，而无需对应用进行任何更改。

HAProxy和Nginx广泛用于互联网规模负载平衡。云提供商也提供这种服务，如果您在云上（如AWS具有弹性负载平衡功能，Google Cloud具有负载平衡功能），则可以使用它们。