2017-11-10 171 views
0

我想知道与群集中心关联的ID是什么。 model.transform(dataset)将为我的数据点分配预测的群集ID,并且model.clusterCenters.foreach(println)将打印这些群集中心,但我无法弄清楚如何将群集中心与其ID相关联。Spark 2.0 - 如何获取与群集中心关联的群集ID

import org.apache.spark.ml.clustering.KMeans 

// Loads data. 
val dataset = spark.read.format("libsvm").load("data/mllib/sample_kmeans_data.txt") 

// Trains a k-means model. 
val kmeans = new KMeans().setK(2).setSeed(1L) 
val model = kmeans.fit(dataset) 
val prediction = model.transform(dataset) 

// Shows the result. 
println("Cluster Centers: ") 
model.clusterCenters.foreach(println) 

理想情况下,我想的输出,诸如:

|I.D  |cluster center | 
========================== 
|0  |[0.0,...,0.3] | 
|2  |[1.0,...,1.3] | 
|1  |[2.0,...,1.3] | 
|3  |[3.0,...,1.3] | 

这在我看来,不说println的顺序是由编号的顺序排列。我试着将它转换model.clusterCenters成DF到transform(),但我无法弄清楚如何转换Array[org.apache.spark.ml.linalg.Vector]org.apache.spark.sql.Dataset[_]

回答

1

一旦你救了它会写CLUSTER_ID和Cluster_center数据。您可以阅读该文件,可以看到所需的输出

model.save(sc, "/user/hadoop/kmeanModel") 
    val parq = sqlContext.read.parquet("/user/hadoop/kmeanModel/data/*") 
    parq.collect.foreach(println) 
+0

非常简单!非常感谢! –

+0

@BéatriceMoissinac,我们遇到了这个问题,查看了源代码并发现了它。 – Achyuth