2
我写了下面的代码在Python在Apache星火运行:地图显示功能的恢复“NoneType”
import sys
from pyspark import SparkContext
def generate_kdmer(seq):
res = []
beg2, end2 = k+d, k+d+k
last = len(seq) - end2 + 1
for i in range(last):
res.append([seq[i:i+k], seq[i+beg2:i+end2]])
return res.sort()
if __name__ == "__main__":
if len(sys.argv) != 4:
print("Usage: kdmer <file> <k> <d>, file=sys.stderr")
exit(-1)
sc = SparkContext(appName="KDmerGenerator")
k, d = int(sys.argv[2]), int(sys.argv[3])
lines = sc.textFile(sys.argv[1])
kdmer = lines.map(generate_kdmer).reduce(lambda a, b: a + b)
output = kdmer.collect()
for i in output:
print(str(i[0]) + ' | ' + str(i[1]))
sc.stop()
它产生错误:
TypeError: unsupported operand type(s) for +: 'NoneType' and 'NoneType
的generate_kdmer功能应该返回一个列表,并且映射返回的列表将被附加到一个reduce中,但我不知道为什么它会一直返回'None'。我试图在函数内部打印一些东西,但它在控制台上什么也没有显示,这个函数是否真的被执行了?有没有更好的方式传递函数来映射Spark?