在Dataproc上运行自定义的spark构建？

Question

是否可以在Google Cloud Dataproc上编译和构建自定义Apache Spark？可以说我们想调整Apace Spark，然后想在dataproc上构建自定义的Spark。

Answer 1

这应该是可以的。 Dataproc为您提供正常的计算引擎虚拟机，并设置Hadoop和YARN。

您可以登录到任何机器，安装您自定义的火花编译并指定YARN和Hadoop安装（Dataproc）。但是，我怀疑你能够使用GCP控制台或dataproc命令行界面来提交和监视作业，而无需进一步修改。