2015-06-05 42 views
2

我写了下面的代码在Python在Apache星火运行:地图显示功能的恢复“NoneType”

import sys 
from pyspark import SparkContext 

def generate_kdmer(seq): 
    res = [] 
    beg2, end2 = k+d, k+d+k 
    last = len(seq) - end2 + 1 
    for i in range(last): 
     res.append([seq[i:i+k], seq[i+beg2:i+end2]]) 
    return res.sort() 

if __name__ == "__main__": 
    if len(sys.argv) != 4: 
     print("Usage: kdmer <file> <k> <d>, file=sys.stderr") 
     exit(-1) 
    sc = SparkContext(appName="KDmerGenerator") 
    k, d = int(sys.argv[2]), int(sys.argv[3]) 
    lines = sc.textFile(sys.argv[1]) 
    kdmer = lines.map(generate_kdmer).reduce(lambda a, b: a + b) 
    output = kdmer.collect() 
    for i in output: 
     print(str(i[0]) + ' | ' + str(i[1])) 
    sc.stop() 

它产生错误:

TypeError: unsupported operand type(s) for +: 'NoneType' and 'NoneType 

的generate_kdmer功能应该返回一个列表,并且映射返回的列表将被附加到一个reduce中,但我不知道为什么它会一直返回'None'。我试图在函数内部打印一些东西,但它在控制台上什么也没有显示,这个函数是否真的被执行了?有没有更好的方式传递函数来映射Spark?

回答

0

问题是res.sort()返回NoneType。你想要做的那种,然后返回res

res.sort() 
return res 

您可以将此直接进入python fiddle,看看我说的是:

k = 1 
d = 1 
seq = "This is a string" 
res = [] 
beg2, end2 = k+d, k+d+k 
last = len(seq) - end2 + 1 
for i in range(last): 
    res.append([seq[i:i+k], seq[i+beg2:i+end2]]) 
print(res.sort()) 
print(res)