HDInsight Azure上的SparkHistory不显示任何应用程序

Question

我已创建Spark HDInsight群集对Azure。该集群用于运​​行不同的作业（Spark或Hive）。

直到一个月前，作业的历史可以在Spark历史服务器仪表板中看到。看来引入了Spark 1.6.0的更新后，该仪表板不再显示任何应用程序。

我也试图绕过这个问题，通过执行PowerShell cmdlet为get-azurehdinsightjob作为请求here。输出又是一个空的应用程序列表。

我会很感激任何帮助，因为这个仪表板用于工作，现在我所有的实验都停滞了。

Answer 1

我设法解决问题删除里面的一切wasb：/// hdp/spark-events。也许这个问题与文件夹的大小有关，因为没有其他日志文件可以被追加。

以下所有作业现在都成功出现在Spark History Server仪表板中。