如何在火花输出控制台中抑制“Stage 2 ===>”？

Question

我有数据框，并试图获得不同的计数，并能够获得不同的计数成功，但每当scala程序正在执行我收到此消息([Stage 2:=============================> (1 + 1)/2])我怎么能抑制特定此消息在控制台。

val countID = dataDF.select(substring(col("dataDF"),5,7).distinct().count() 

Answer 1

您需要设置spark.ui.showConsoleProgress到false

我发现这个在票加进度条的评论。

https://issues.apache.org/jira/browse/SPARK-4017

我还没有看到它的任何文件的，虽然，它真的应该加入。