处理数以百万计的请求/秒：如何做负载均衡器（主服务器线程）的作品

Question

会发生什么： 如果我写了数百万线程的线程池支持的服务器应用程序，它会每秒百万

请求

我一直在开发Web服务。 Web服务部署在具有前端负载均衡器的1000台计算机上。负载平衡器的工作是在实际处理Web请求的服务器之间分配流量。 所以我的问题是，因为在负载平衡器本身内部运行的进程本身是单线程来监听端口上的web请求，所以它如何处理每秒接受数百万次请求。负载平衡器可能正在忙于委派一项任务，那么在该时刻发生的传入请求会发生什么情况？

在我看来，所有客户端将无法处理，因为只会有一个请求处理线程来传递传入请求的线程池

这样没有多线程服务器应该永远工作。 我不知道Facebook/amazon每秒处理数百万次请求。

Answer 1

你是对的，它不会工作。单个计算机可以处理的数量是有限的，这与它运行多少个线程无关。

亚马逊和Facebook等公司处理它的方式是让数百或数千台服务器遍布全球，然后将请求传递给各种服务器。这是一个很大的问题，但如果你想知道更多，我建议你阅读分布式计算，并回来，如果你有具体问题。

Answer 2

随着编辑，问题变得更有意义。 每秒发送百万个请求并不困难。一个分布操作应该在几十纳秒的粘度上稍微有点并且仅仅包括将接收到的套接字推入队列。没什么大不了的。

一旦完成，平衡器已准备好接受下一个请求。