将本地python脚本连接到远程spark主模块

Question

我正在使用python 2.7与spark独立群集。

当我在运行python脚本的同一台机器上启动master时。它工作顺利。

当我在远程计算机上启动主服务器并尝试启动本地计算机上的spark上下文以访问远程spark主服务器时。没有任何反应，我得到一个按摩，说任务没有得到任何资源。

当我访问主人的用户界面。我看到这份工作，但没有任何反应，它只是在那里。

如何通过本地python脚本访问远程spark主站？

谢谢。

编辑： 我读到，为了做到这一点，我需要以集群模式（而不是客户端模式）运行集群，并且我发现目前有standalone mode does not support this for python application。

想法？

Answer 1

为了做到这一点，我需要以集群模式（而不是客户端模式）运行集群，并且我发现here当前独立模式不支持python应用程序。