Spark在集群模式下打印没有登录

Question

当在本地模式下运行，这将打印日志到控制台：

object Util extends Logging { 

    val df: DataFrame = ??? 

    df.select("id", "name") 
     .rdd.foreach(r => log.warn("here")) 
} 

但在集群模式下运行时，它没有。我相信这是因为日志命令在工作节点而不是主节点上执行。如果使用println(...)

同样的事情，我怎么能有日志结果在控制台中显示出来？

Answer 1

如果你运行一个集群上你的工作，你首先应该collect您rdd数据。

rdd.collect().foreach(r ⇒ log.warn("here")) 

但是可能它不是一个好主意，收集所有rdd，所以您可以使用take功能，让RDD元素的少数打印。