将pyspark中的python模块发送到其他节点？

Question

如何将C编译的模块（例如python-Levenshtein）发布到Spark集群中的每个节点？

我知道我可以使用独立的python脚本（下面的示例代码）出货火花Python文件：

from pyspark import SparkContext 
sc = SparkContext("local", "App Name", pyFiles=['MyFile.py', 'MyOtherFile.py']) 

，但在那里是没有的情况下“的.py”我怎么运输模块？

Answer 1

如果你可以打包你的模块为.egg或.zip文件，你应该能够构建您的SparkContext时，列出它在pyFiles（或者你可以通过sc.addPyFile以后添加）。

对于使用setuptools的Python库，您可以运行python setup.py bdist_egg来构建egg分发。

另一种选择是通过在每台计算机上使用pip/easy_install或通过在群集范围的文件系统（如NFS）上共享Python安装来在群集范围内安装库。