在Scala交互式外壳中执行时的MLlib算法

Question

我正在使用Spark的Scala（交互式）Shell来试验MLlib算法，例如，奇异值分解（SVD），将它们应用于不同大小的数据集。有没有办法找出在Shell中执行算法需要多长时间？

Answer 1

在您的主节点的Web界面3030端口上可以使用Spark shell作业状态。

打开资源管理器，输入网址http://MASTER_HOSTNAME:3030

3030端口让您跟踪作业的进度和有关其执行情况的各种指标，包括任务持续时间和缓存的统计信息。

其他常用的端口包括：

• 8080，整个星火集群信息
• 7077，星火主信息

参考：Data exploration using spark。