2014-12-26 47 views
7

由于YARN负责管理Hadoop应用程序的资源,如内核和进程,是否允许创建新线程的YARN应用程序?Spark/YARN允许多线程吗?

我主要介绍运行在YARN资源管理器上的Spark应用程序。我知道,如果你创建一个新的线程没有错误,但是,它是安全的吗?

+0

你是什么意思创建新主题?我相信Spark支持在YARN上运行,甚至有像num-workers这样的选项。 – softwarenewbie7331

+0

我的意思是创建“新线程()”并在单个工作人员上运行自定义代码。我不在乎这是否是最佳做法。 –

回答

5

我回覆我自己。 YARN控制内存和内核等资源,而不是线程。在创建容器时(处理亲和性),通过更改操作系统特定参数来控制内核。然后,JVM正在使用指定数量的内核运行,并且可以根据需要创建任意数量的线程。