pySpark以分布式方式查找中位数？

Question

是否可以通过分布的方式找到火花中位数？我目前发现：Sum，Average，Variance，Count使用下面的代码：

dataSumsRdd = numRDD.filter(lambda x: filterNum(x[1])).map(lambda line: (line[0], float(line[1])))\ 
    .aggregateByKey((0.0, 0.0, 0.0), 
    lambda (sum, sum2, count), value: (sum + value, sum2 + value**2, count+1.0), 
    lambda (suma, sum2a, counta), (sumb, sum2b, countb): (suma + sumb, sum2a + sum2b, counta + countb)) 
#Generate RDD of Count, Sum, Average, Variance 
dataStatsRdd = dataSumsRdd.mapValues(lambda (sum, sum2, count) : (count, sum, sum/count, round(sum2/count - (sum/count)**2, 7))) 

我不太清楚如何找到中位数虽然。为了找到标准差，我只是用平方根方差做局部结果。一旦我收集到中位数，我就可以轻松地在本地进行Skewness。

我在键/值对（键=列）

Answer 1

我所看在我的数据（它不是最好的方式......但我能想到这样做的唯一途径）：

def medianFunction(x): 
    count = len(x) 
    if count % 2 == 0: 
     l = count/2 - 1 
     r = l + 1 
     value = (x[l - 1] + x[r - 1])/2 
     return value 
    else: 
     l = count/2 
     value = x[l - 1] 
     return value 

    medianRDD = numFilterRDD.groupByKey().map(lambda (x, y): (x, list(y))).mapValues(lambda x: medianFunction(x)).collect()