4
我有spark.cores.max设置为24 [3个工人节点]，但是如果我进入我的工作节点，看到只有一个进程[命令= Java]运行，消耗内存和CPU。我怀疑它不使用全部8个内核（在m2.4x large上）。如何检查Spark使用的内核数量？
如何知道数字？
A
回答
3
你可以看到火花的Web UI下的集群中占据每个工人的内核数量： 
相关问题
- 1. 如何检查Pthread程序中使用的内核数量？
- 2. Apache Spark：如何强制使用一定数量的内核？
- 3. Spark如何限制cpu核心和内存的使用？
- 4. 检测窗口上的内核数量
- 5. 如何检查Spark版本
- 6. 限制erlang使用的内核数量
- 7. 并行c＃使用的内核数量
- 8. 限制MySQL使用的内核数量
- 9. 如何检测Crystal中CPU内核的数量？
- 10. 如何检测x86汇编中的内核数量？
- 11. 我应该检查内核代码中的线程数量吗？
- 12. 我如何查询可用内核数量？
- 13. 如何控制使用的线程/内核的数量？
- 14. 查找linux内核中CPU的数量
- 15. 如何指定bazel使用的CPU内核数量？
- 16. 如何限制进程使用的内核数量？
- 17. 如何限制Varnish使用的CPU内核数量？
- 18. 如何管理Akka使用的内核数量？
- 19. 使用Amazon的“maximizeResourceAllocation”设置的Spark + EMR不使用所有内核/核心
- 20. Spark：理解分区 - 内核
- 21. Apache Spark：在执行期间减少内核数量
- 22. 如何检查iCloud中是否有内容？核心数据
- 23. 如何检查内容备份在iCloud中（核心数据）
- 24. Spark - 限制从属服务器的CPU内核或内存的数量
- 25. 如何使用memmap内核参数？
- 26. 如何使用量角器检查DropDown列表的内容？
- 27. MPI内核数量
- 28. 以编程方式确定可用于Spark的内核数量和可用内存量
- 29. linux内核模块内存检查器
- 30. 如何使tomcat随着内核数量的增加而扩展？
我能在这里看到...但我的问题is..when我登录到工人节点和检查与spark..it相关的进程数量通常只有每个工作者节点一个....我想知道是否所有的内核都被利用了？ – user3279189 2014-09-11 15:32:41
只需触发一个并行计算，并观察您的内核负载。你会看到他们秒杀。 – 2014-09-11 17:41:50
Web UI的默认端口为18080。否则访问机器（SSH），然后使用顶部将提供更多的细节。 – 2015-11-13 06:55:42