如何通过Powershell在HDInsight上提交Spark作业？

有没有办法通过Powershell在HDInsight上提交Spark作业？我知道它可以通过Azure Data Factory中的活动来完成，但是有没有办法将Python脚本提交到Powershell cmdlet的pinspark HDInsight？如何通过Powershell在HDInsight上提交Spark作业？

来源

2017-06-21 YuGagarin

据我所知，没有Azure PowerShell命令可以做到这一点。

您可以使用Apache Spark REST API，该API用于将远程作业提交到Azure HDInsight Spark群集。请参阅此feedback。

HDInsight允许通过REST API使用 Livy远程作业提交。它是Linux上最近发布的Spark的一部分。 https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-livy-rest-interface/

来源

2017-06-22 01:27:40

如何通过Powershell在HDInsight上提交Spark作业？

回答

相关问题