替换/转换rdd的元素

Question

我是Apache spark的新手，我有一个问题。

如果一个rdd的元素是rdd=[0.0, 1.49, 2.48, 2.72, 2.45]，我该如何转换这个rdd，使得所有小于2的值都被转换为-1并且被置为0？ 即rdd_transformed=[-1,-1,0,0,0]

我尝试了以下，但我担心我没有得到正确的语法。

b=2 
rdd.map(lambda a: (a,b)).reduce(lambda a,b: -1 if (a<b) else 0) 

Answer 1

要回答你的问题（希望），你可以试试：

rdd.map(lambda a: -1 if a < 2 else 0)