优化星火数字功能（蟒蛇）

Question

新星火并希望看到以优化下面的代码的最佳方式。 我有5GB文件的文件用50列，其余（下面在可变位置）大约需要30列出来。然后在其上运行各种统计数据。

def numStats(position): 
    results = [] 
    for lines in position: 
     stats = [0,0,0,0,0,0,0,0] 
     myData = dataSplit.map(lambda arr: (arr[lines])) 
     if myData.take(1) != [u'']: 
      myData3 = myData.map(lambda line: line.split(',')).map(lambda fields: ("Column", float(fields[0]))).map(lambda (column, value) : (value)).persist(StorageLevel.MEMORY_AND_DISK) 
      stats[0] = myData3.sum() 
      results.append(stats[0]) 
      stats[1] = myData3.min() 
      results.append(stats[1]) 
      stats[2] = myData3.max() 
      results.append(stats[2]) 
      stats[3] = myData3.mean() 
      results.append(stats[3]) 
      stats[4] = myData3.stdev() 
      results.append(stats[4]) 
      stats[5] = myData3.variance() 
      results.append(stats[5]) 
      stats[6] = myData3.sampleStdev() 
      results.append(stats[6]) 
      stats[7] = myData3.sampleVariance() 
      results.append(stats[7]) 

Answer 1

1. 您可以在一个通过与aggregate功能（http://spark.apache.org/docs/1.2.0/api/python/pyspark.html#pyspark.RDD）数据中计算的许多统计数据。下面是类似的方法与aggregateByKey功能的例子：How to optimize this code on spark?
2. 你坚持下去RDD的一列各一次。为什么不缓存myData RDD？每次构建myData3 RDD时都会实现，这意味着30次！

最后，aggregate功能你就可以在你的数据