如何在Spark中正确求和.map函数中的整数？

Question

我是Scala和Spark的新手，尝试在Spark中创建一个类似于RDD的RDD，为每条线分配一个Int作为键并求和+1。

val mapUrls = urls.map{ 
var cont = 0 
x => 
cont += 1 
(cont,x) 
} 

问题是，在某种程度上，cont变量会在一定时间后回到1。

我在做什么错了？

Answer 1

这是你想要的吗？

urls.zipWithIndex.map(_.swap) 

您的代码无法正常工作。请记住，Spark是分布式框架，并且没有共享内存。每项任务都会更新自己的cont。