在Bluemix上执行Apache Spark SQL的作业的调度程序

Question

我在Bluemix中使用Apache Spark。 我想为sparksql作业实现调度器。我看到这个link到描述调度的博客。但不清楚如何更新清单。也许还有其他的方式来安排我的工作。

Answer 1

清单文件是指导云代工（cf）应用程序的部署。所以就你而言，听起来你想部署你的cf应用程序，充当SparkSQL调度程序，并使用清单文件来声明你的应用程序不需要任何Web应用程序路由选择或其他面向用户的应用程序，因为你只是想运行后台调度程序。这一切都很好，cf docs将帮助你做到这一点。

但是，您现在无法为Bluemix Spark服务运行SparkSQL调度程序，因为它只通过Bluemix的Data-Analytics部分支持Jupyter笔记本电脑;即只有笔记本用户界面。您需要一个Spark API，可以从您的调度程序cf应用程序驱动;例如spark-submit类型的东西，你可以创建你的Spark上下文，然后运行程序，比如你提到的SparkSQL。这个API应该是来到Apache Spark Bluemix服务的。

更新：​​于2016年1季度末左右推出。它是一个shell脚本，但它内部通过curl进行REST调用。 REST API似乎还没有被支持，但是你可以在你的调度器中调用脚本，或者直接调用REST API，并希望它不会改变和打破你。