0
目的是变换驻留在一个文件中的整数:这个RDD来自哪里空白?
1 2 3
4 5 6
7 8 9
成三个阵列,以便能够执行数学运算。
预计
[[1, 2, 3], [4, 5, 6], [7, 8, 9]]
实际
[[u'1', u' ', u'2', u' ', u'3'], [u'4', u' ', u'5', u' ', u'6'], [u'7', u' ', u'8', u' ', u'9']]
代码
txt = sc.textFile("integers.txt")
print txt.collect()
#[u'1 2 3', u'4 5 6', u'7 8 9']
pairs = txt.map(lambda x: x.split(' '))
print pairs.collect()
#[[u'1', u'2', u'3'], [u'4', u'5', u'6'], [u'7', u'8', u'9']]
pairs = txt.map(lambda x: [s for s in x])
print pairs.collect()
#[[u'1', u' ', u'2', u' ', u'3'], [u'4', u' ', u'5', u' ', u'6'], [u'7', u' ', u'8', u' ', u'9']]