如何提交依赖于谷歌dataproc群集pyspark工作

Question

我正在使用谷歌dataproc群集运行spark工作，该脚本是在Python中。

当只有一个脚本（test.py例如），我可以用下面的命令提交作业：

gcloud dataproc jobs submit pyspark --cluster analyse ./test.py

但现在从我自己写的其它脚本test.py进口模块，怎么能我在命令中指定了依赖关系？

Answer 1

你可以使用--py-文件选项

在这里看到： https://cloud.google.com/sdk/gcloud/reference/dataproc/jobs/submit/pyspark