如果还有人被这事困住了，

以上这些方法对我都不起作用。 我必须移除

implementation group: "ch.qos.logback", name: "logback-classic", version: "1.2.3"
implementation group: 'com.typesafe.scala-logging', name: "scala-logging_$scalaVersion", version: '3.9.2'

我的身材。Gradle为日志消失。TLDR:不要导入任何其他日志框架，只要使用org.apache.log4j.Logger就可以了

博士tl;

对于Spark Context，您可以使用: sc.setLogLevel (< logLevel >) 其中loglevel可以是ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE或 警告。

细节- - - - - -

在内部，setLogLevel调用org.apache.log4j.Level.toLevel(logLevel)，然后使用org.apache.log4j.LogManager.getRootLogger(). setlevel (level)进行设置。

您可以使用以下方法直接将日志级别设置为OFF: LogManager.getLogger(“org”).setLevel (Level.OFF)

您可以在conf/log4j.properties中设置Spark shell的默认日志记录。使用conf / log4j . properties。模板作为起点。

在Spark应用程序中设置日志级别

在独立的Spark应用程序中或在Spark Shell会话中，使用以下命令:

import org.apache.log4j.{Level, Logger}

Logger.getLogger(classOf[RackResolver]).getLevel
Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)

禁用日志记录(在log4j中):

在conf/log4j中使用以下命令。属性完全禁用日志记录:

log4j.logger.org=OFF

参考:Jacek Laskowski的Mastering Spark。

调整conf / log4j。其他描述的属性 log4j。rootCategory =错误控制台 确保在执行spark作业时使用log4j传递——file标志。属性文件路径 如果它仍然不起作用，您可能有一个包含log4j的jar。在新的log4j.properties之前被调用的属性。删除log4j。jar中的属性(如果合适)

如果您没有编辑java代码来插入. setloglevel()语句的能力，并且您不希望部署更多的外部文件，那么您可以使用暴力方法来解决这个问题。只需使用grep过滤掉INFO行。

spark-submit --deploy-mode client --master local <rest-of-cmd> | grep -v -F "INFO"

另一种完全停止日志的方法是:

    import org.apache.log4j.Appender;
    import org.apache.log4j.BasicConfigurator;
    import org.apache.log4j.varia.NullAppender;

    public class SomeClass {

        public static void main(String[] args) {
            Appender nullAppender = new NullAppender();
            BasicConfigurator.configure(nullAppender);

            {...more code here...}

        }
    }

这对我很管用。 NullAppender是

一个忽略日志事件的Appender。(https://logging.apache.org/log4j/2.x/log4j-core/apidocs/org/apache/logging/log4j/core/appender/NullAppender.html)

启动后立即火花弹型;

sc.setLogLevel("ERROR")

你可以把它放在预加载文件中，像这样使用:

spark-shell ... -I preload-file ...

在Spark 2.0 (Scala)中:

spark = SparkSession.builder.getOrCreate()
spark.sparkContext.setLogLevel("ERROR")

你的码头:HTTP:// spark.ap.org。

对于Java:

spark = SparkSession.builder.getOrCreate();
spark.sparkContext().setLogLevel("ERROR");