Spark - 集群中内置的rdd.count（）函数是否可靠？

Question

我目前正在编写一个简单的使用rdd.count（）函数的spark脚本，当我测试它在本地运行时它效果很好。

当我将代码部署到多机群集时，它会继续工作还是该功能易受分布式计算问题的影响？

Answer 1

它就像一个MapReduce wordcount ...它分布的数据分区，并总结数字。

因此，要回答这个问题，它应该在分布式环境中工作得很好。