我使用Spark Standalone Cluster,我想知道多少信息节点相互发送。我怎么测量它?如何测量Spark Standalone集群中节点之间的通信?
0
A
回答
0
您可能需要使用像zabbix这样的完整监控系统来收集所有节点的信息。
另外,如果您对节点之间发送数据的事实感兴趣,则可以查看驱动程序的UI(通常位于4040端口)。检查每个任务的本地化级别,如果您找到“ANY”,则表示可能在工作节点之间传输数据。
1
你可以监视像ganglia和nagios那样的工具。我个人认为我去神经节。
相关问题
- 1. 群集节点之间的通信
- 2. 并非所有在Spark Standalone集群中使用的节点
- 3. StandAlone集群中的Spark Job-Server配置
- 4. 如何使用.NET在MSCS集群节点之间进行协调/通信
- 5. 。进程集群之间的网络点对点通信
- 6. Hadoop 2节点群集通信查询
- 7. Spark Standalone:客户端和集群部署模式之间的区别
- 8. 节点间通信
- 9. Apache Spark多节点群集 - java.io.FileNotFoundException
- 10. 如何从Spark群集作业中排除节点?
- 11. IaaS节点如何通信以形成群集?
- 12. 两个节点之间的通信
- 13. 在Shuffle期间Spark节点如何通信?
- 14. 节点群集
- 15. Hadoop集群中的节点数量
- 16. 两个Cassandra节点之间的通信
- 17. 如何检测jMonkey中2个节点之间的交集
- 18. Spark:如何获取群集点(KMeans)
- 19. 如何使用单节点MemSql集群设置Spark?
- 20. 如何使用EMR使从属节点适用于Spark群集?
- 21. 确保rabbitmq群集节点通过ssl进行通信
- 22. 使用现有的Apche-Spark Standalone群集进行Mesos配置
- 23. 如何处理Apache Spark中群集节点之间独立处理的不同图形文件?
- 24. 群集中的节点失败时的Apache Spark行为。
- 25. Spark集群中Worker节点上对象的早期初始化
- 26. spark serverserver不能在集群中的多个节点上启动
- 27. 如何在更改群集中的节点数量之后恢复Cassandra shapshot
- 28. 如何监视两个Erlang节点之间的通信
- 29. Python中的网络节点之间的无服务器通信
- 30. 如何保留共享节点集群中所有节点进程的变量?
看一看[这里](http://wiki.wireshark.org/CaptureSetup/Loopback)。 – 2014-11-01 00:22:51