运行spark mllib kmeans时，网站上每个阶段的作用是什么？

Question

我尝试使用spark mllib kmeans，但作业挂在舞台上“KAsans.scala：302上的collectAsMap”。我的代码是由python写的。 能有一个人告诉我什么是对每个阶段发生的事情，如“聚集在KMeans.scala：436”：“404 KMeans.scala汇总”，“在KMeans.scala collectAsMap：302” here is the jobs picture

Answer 1

ķ -means是一种迭代算法，其中在每个迭代中将点分配给最近的质心，并且基于所分配的点更新质心。重复该过程直到满足某个质量度量。使用包括随机质心和K均值||的可能方法的数量中的一个来计算初始质心。

在Spark中，每次迭代包含计算新质心的聚合和collectAsMap，其中数据被提取到驱动程序并广播以用于下一次迭代。

第二部分对应于使用K-means ||的并行初始化。