如何高效地计算Spark中RDD [org.apache.spark.mllib.linalg.Vector]的中值？

Question

我想要做的是这样的： http://cn.mathworks.com/help/matlab/ref/median.html?requestedDomain=www.mathworks.com 找到每列的中值。 这可以通过将RDD收集到驱动程序来完成，以获得一个不可能的大数据。 我知道Statistics.colStats（）可以计算均值，方差...但不包括中位数。 此外，矢量是高维和稀疏的。

Answer 1

嗯，我听不懂的向量部分，但是这是我的做法（我打赌有更好的）：

val a = sc.parallelize(Seq(1, 2, -1, 12, 3, 0, 3)) 
val n = a.count()/2 

println(n) // outputs 3 

val b = a.sortBy(x => x).zipWithIndex() 
val median = b.filter(x => x._2 == n).collect()(0)._1 // this part doesn't look nice, I hope someone tells me how to improve it, maybe zero? 

println(median) // outputs 2 
b.collect().foreach(println) // (-1,0) (0,1) (1,2) (2,3) (3,4) (3,5) (12,6) 

关键是你的dataset使用sortBy进行排序，然后用拉链的条目他们的索引使用zipWithIndex然后得到中间的条目，请注意，为了简单起见，我设置了奇数个样本，但其实质是存在的，除此之外，您必须对数据集的每一列执行此操作。