Google DataProc中的spark-shell和sparkR

Question

我对Google DataProc很新颖

我们想通过spark-shell或sparkR运行一组代码用于测试目的。 是否可以连接到火花集群和执行火花壳或sparkR在谷歌DataProc的命令？

我检查了doc，似乎我们可以填写火花提交作业，但我没有找到引发壳或SparkR相关信息。

Answer 1

是。

火花外壳和sparkR对所有虚拟机安装dataproc集群中，您可以SSH到其中任何一个（我通常使用的主节点）和运行火花壳或sparkR。