在使用spark-submit或spark-sql提交应用程序时使用以下命令更改日志级别:

spark-submit \
--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:<file path>/log4j.xml" \
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:<file path>/log4j.xml"

注意:replace <file path> log4j配置文件所在路径。

log4j . properties:

log4j.rootLogger=ERROR, console

# set the log level for these components
log4j.logger.com.test=DEBUG
log4j.logger.org=ERROR
log4j.logger.org.apache.spark=ERROR
log4j.logger.org.spark-project=ERROR
log4j.logger.org.apache.hadoop=ERROR
log4j.logger.io.netty=ERROR
log4j.logger.org.apache.zookeeper=ERROR

# add a ConsoleAppender to the logger stdout to write to the console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.layout=org.apache.log4j.PatternLayout
# use a simple message format
log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

log4j.xml

<?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE log4j:configuration SYSTEM "log4j.dtd"> <log4j:configuration xmlns:log4j="http://jakarta.apache.org/log4j/"> <appender name="console" class="org.apache.log4j.ConsoleAppender"> <param name="Target" value="System.out"/> <layout class="org.apache.log4j.PatternLayout"> <param name="ConversionPattern" value="%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n" /> </layout> </appender> <logger name="org.apache.spark"> <level value="error" /> </logger> <logger name="org.spark-project"> <level value="error" /> </logger> <logger name="org.apache.hadoop"> <level value="error" /> </logger> <logger name="io.netty"> <level value="error" /> </logger> <logger name="org.apache.zookeeper"> <level value="error" /> </logger> <logger name="org"> <level value="error" /> </logger> <root> <priority value ="ERROR" /> <appender-ref ref="console" /> </root> </log4j:configuration>

如果要将日志写入文件而不是控制台，则在log4j.xml中切换到FileAppender。LOG_DIR是一个日志目录变量，你可以使用spark-submit——conf "spark.driver.extraJavaOptions=-D "来提供。

<appender name=“file” class=“org.apache.log4j.DailyRollingFileAppender”> <参数名称=“file” 值=“${LOG_DIR}”/> <param name=“datePattern” value=“'.'yyyy-MM-dd”/> <layout class=“org.apache.log4j.PatternLayout”> <参数名称=“转换模式” 值=“%d [%t] %-5p %c %x - %m%n”/> </layout> </appender>

这里需要理解的另一件重要的事情是，当job以分布式模式(部署模式集群和master作为yarn或mesos)启动时，log4j配置文件应该存在于驱动程序和工作节点上(log4j。Configuration =file:<文件路径>/log4j.xml)否则log4j init将会抱怨-

log4j:ERROR无法读取配置文件[log4j.properties]。 java.io.FileNotFoundException: log4j。属性(没有这样的文件或 目录)

解决这个问题的提示-

将log4j配置文件保存在分布式文件系统(HDFS或mesos)中，使用log4j PropertyConfigurator添加外部配置。 或使用sparkContext addFile使其在每个节点上可用，然后使用log4j PropertyConfigurator重新加载配置。

sparkContext.setLogLevel("OFF")

我只是将这一行添加到所有pyspark脚本的顶部，就在import语句的下面。

SparkSession.builder.getOrCreate().sparkContext.setLogLevel("ERROR")

我的pyspark脚本的示例头

from pyspark.sql import SparkSession, functions as fs
SparkSession.builder.getOrCreate().sparkContext.setLogLevel("ERROR")

这个方法对我很管用。 对于仅显示为stdout的ERROR消息，请使用log4j。属性文件可能如下所示:

# Root logger option
log4j.rootLogger=ERROR, stdout
# Direct log messages to stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target=System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

注意:输入log4j。src/main/resources文件夹中的属性文件 有效。 如果log4j。属性不存在(意味着spark正在使用log4j-defaults)。然后你可以通过SPARK_HOME/conf和mv log4j.properties来创建它。模板log4j。属性，然后继续上述更改。

感谢@AkhlD和@Sachin Janani建议修改.conf文件。

以下代码解决了我的问题:

1)增加了导入org.apache.log4j。导入部分中的{级别，日志记录器}

2)在创建spark context对象后添加如下一行，即在val sc = new SparkContext(conf)后:

val rootLogger = Logger.getRootLogger()
rootLogger.setLevel(Level.ERROR)

启动后立即火花弹型;

sc.setLogLevel("ERROR")

你可以把它放在预加载文件中，像这样使用:

spark-shell ... -I preload-file ...

在Spark 2.0 (Scala)中:

spark = SparkSession.builder.getOrCreate()
spark.sparkContext.setLogLevel("ERROR")

你的码头:HTTP:// spark.ap.org。

对于Java:

spark = SparkSession.builder.getOrCreate();
spark.sparkContext().setLogLevel("ERROR");