如何使用pyspark连接笔记本电脑中的外部模块？

Question

我有一个主要的IPython笔记本，其中我有执行不同任务的代码。

我需要导入自己的模块中.py文件的形式在笔记本上，像这样：

from custom_module import function 

我们可以假设custom_module.py是：

def function(x): 
    print(x) 

当我从理解文档，我需要做的是写下列内容：

$pyspark --py-files custom_module.py 

该命令上面的作品只有当模块在ipynb的同一个文件夹，但是，我有什么模块.py文件在其他目录？

我试了下面的代码，没有好的结果。找不到模块。

$pyspark --py-files /home/username/desktop/test/custom_module.py 

Answer 1

基本上，这将工作在客户端上，但不在驱动程序上。 我发现这样做的一种方式是确保custom_module位于驱动程序中的目录位于PYTHONPATH中。