2017-08-04 43 views
2

我只是想澄清一些让我感到困惑的东西,就是使用Spark中的线程。Spark中每个核心的线程数

有人可以证实,星火:

  1. 每个核心只能运行一个线程,或者至少是一个任务插槽对应一个核心,一个核心只有永不一个线程

  2. 本地模式的情况是一个例外。它使用可用线程模拟集群模式下的可用任务插槽。

-M-

回答

3

核心Spark中是可以被分配处理任务的线程,这个意义并不能改变太多local和分布式模式之间。

在实践星火用来包括除任务处理等用途更大量的线程,但不限于:

  • 处理心跳。
  • Spark UI。
  • 广播。