如何关闭bigdatauniversity/spark docker镜像内的spark-shell中的DEBUG？

Question

bigdatauniversity/spark docker image中的$SPARK_HOME/bin/spark-shell太冗长，这使得它很难处理。如何关闭调试$SPARK_HOME/bin/spark-shell？

Answer 1

我想如何做到这一点，以便为其他用户发布答案。

对于我来说，我只是不得不做：

cp /opt/ibm/spark-1.3.1_IBM_1-bin-2.6.0/conf/log4j.properties.template \ 
    /opt/ibm/spark-1.3.1_IBM_1-bin-2.6.0/conf/log4j.properties 

您将需要更改上面的路径，以反映在您的容器中运行的火花版本。

Answer 2

对于应用程序级别的日志管理：

在独立的应用程序 - 代码

import org.apache.log4j.Logger 
    import org.apache.log4j.Level 

    def main(args: Array[String]) { 

     Logger.getLogger("org").setLevel(Level.OFF) 
     Logger.getLogger("akka").setLevel(Level.OFF) 
     // rest code comes here 
    } 

火花外壳

scala>import org.apache.log4j.Logger 
scala>import org.apache.log4j.Level 
scala>Logger.getLogger("org").setLevel(Level.OFF) 
scala>Logger.getLogger("akka").setLevel(Level.OFF)