我想停止各种消息都是在火花壳。

我尝试编辑log4j。属性文件,以停止这些消息。

下面是log4j.properties的内容

# Define the root logger with appender file
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# Settings to quiet third party logs that are too verbose
log4j.logger.org.eclipse.jetty=WARN
log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO

但是消息仍然显示在控制台上。

下面是一些示例消息

15/01/05 15:11:45 INFO SparkEnv: Registering BlockManagerMaster
15/01/05 15:11:45 INFO DiskBlockManager: Created local directory at /tmp/spark-local-20150105151145-b1ba
15/01/05 15:11:45 INFO MemoryStore: MemoryStore started with capacity 0.0 B.
15/01/05 15:11:45 INFO ConnectionManager: Bound socket to port 44728 with id = ConnectionManagerId(192.168.100.85,44728)
15/01/05 15:11:45 INFO BlockManagerMaster: Trying to register BlockManager
15/01/05 15:11:45 INFO BlockManagerMasterActor$BlockManagerInfo: Registering block manager 192.168.100.85:44728 with 0.0 B RAM
15/01/05 15:11:45 INFO BlockManagerMaster: Registered BlockManager
15/01/05 15:11:45 INFO HttpServer: Starting HTTP Server
15/01/05 15:11:45 INFO HttpBroadcast: Broadcast server star

我怎么阻止这些?


当前回答

启动后立即火花弹型;

sc.setLogLevel("ERROR")

你可以把它放在预加载文件中,像这样使用:

spark-shell ... -I preload-file ...

在Spark 2.0 (Scala)中:

spark = SparkSession.builder.getOrCreate()
spark.sparkContext.setLogLevel("ERROR")

你的码头:HTTP:// spark.ap.org。

对于Java:

spark = SparkSession.builder.getOrCreate();
spark.sparkContext().setLogLevel("ERROR");

其他回答

在使用spark-submit或spark-sql提交应用程序时使用以下命令更改日志级别:

spark-submit \
--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:<file path>/log4j.xml" \
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:<file path>/log4j.xml"

注意:replace <file path> log4j配置文件所在路径。

log4j . properties:

log4j.rootLogger=ERROR, console

# set the log level for these components
log4j.logger.com.test=DEBUG
log4j.logger.org=ERROR
log4j.logger.org.apache.spark=ERROR
log4j.logger.org.spark-project=ERROR
log4j.logger.org.apache.hadoop=ERROR
log4j.logger.io.netty=ERROR
log4j.logger.org.apache.zookeeper=ERROR

# add a ConsoleAppender to the logger stdout to write to the console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.layout=org.apache.log4j.PatternLayout
# use a simple message format
log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

log4j.xml

<?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE log4j:configuration SYSTEM "log4j.dtd"> <log4j:configuration xmlns:log4j="http://jakarta.apache.org/log4j/"> <appender name="console" class="org.apache.log4j.ConsoleAppender"> <param name="Target" value="System.out"/> <layout class="org.apache.log4j.PatternLayout"> <param name="ConversionPattern" value="%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n" /> </layout> </appender> <logger name="org.apache.spark"> <level value="error" /> </logger> <logger name="org.spark-project"> <level value="error" /> </logger> <logger name="org.apache.hadoop"> <level value="error" /> </logger> <logger name="io.netty"> <level value="error" /> </logger> <logger name="org.apache.zookeeper"> <level value="error" /> </logger> <logger name="org"> <level value="error" /> </logger> <root> <priority value ="ERROR" /> <appender-ref ref="console" /> </root> </log4j:configuration>

如果要将日志写入文件而不是控制台,则在log4j.xml中切换到FileAppender。LOG_DIR是一个日志目录变量,你可以使用spark-submit——conf "spark.driver.extraJavaOptions=-D "来提供。

<appender name=“file” class=“org.apache.log4j.DailyRollingFileAppender”> <参数名称=“file” 值=“${LOG_DIR}”/> <param name=“datePattern” value=“'.'yyyy-MM-dd”/> <layout class=“org.apache.log4j.PatternLayout”> <参数名称=“转换模式” 值=“%d [%t] %-5p %c %x - %m%n”/> </layout> </appender>

这里需要理解的另一件重要的事情是,当job以分布式模式(部署模式集群和master作为yarn或mesos)启动时,log4j配置文件应该存在于驱动程序和工作节点上(log4j。Configuration =file:<文件路径>/log4j.xml)否则log4j init将会抱怨-

log4j:ERROR无法读取配置文件[log4j.properties]。 java.io.FileNotFoundException: log4j。属性(没有这样的文件或 目录)

解决这个问题的提示-

将log4j配置文件保存在分布式文件系统(HDFS或mesos)中,使用log4j PropertyConfigurator添加外部配置。 或使用sparkContext addFile使其在每个节点上可用,然后使用log4j PropertyConfigurator重新加载配置。

一个有趣的想法是使用此处建议的RollingAppender: http://shzhangji.com/blog/2015/05/31/spark-streaming-logging-configuration/ 这样您就不会“污染”控制台空间,但仍然能够在$YOUR_LOG_PATH_HERE/${dm.logging.name}.log下看到结果。

    log4j.rootLogger=INFO, rolling

log4j.appender.rolling=org.apache.log4j.RollingFileAppender
log4j.appender.rolling.layout=org.apache.log4j.PatternLayout
log4j.appender.rolling.layout.conversionPattern=[%d] %p %m (%c)%n
log4j.appender.rolling.maxFileSize=50MB
log4j.appender.rolling.maxBackupIndex=5
log4j.appender.rolling.file=$YOUR_LOG_PATH_HERE/${dm.logging.name}.log
log4j.appender.rolling.encoding=UTF-8

另一个解决原因的方法是观察你通常有什么样的日志记录(来自不同的模块和依赖),并为每个日志设置粒度,同时将过于冗长的第三方日志“安静”:

例如,

    # Silence akka remoting
log4j.logger.Remoting=ERROR
log4j.logger.akka.event.slf4j=ERROR
log4j.logger.org.spark-project.jetty.server=ERROR
log4j.logger.org.apache.spark=ERROR
log4j.logger.com.anjuke.dm=${dm.logging.level}
log4j.logger.org.eclipse.jetty=WARN
log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO

博士tl;

对于Spark Context,您可以使用: sc.setLogLevel (< logLevel >) 其中loglevel可以是ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE或 警告。


细节- - - - - -

在内部,setLogLevel调用org.apache.log4j.Level.toLevel(logLevel),然后使用org.apache.log4j.LogManager.getRootLogger(). setlevel (level)进行设置。

您可以使用以下方法直接将日志级别设置为OFF: LogManager.getLogger(“org”).setLevel (Level.OFF)

您可以在conf/log4j.properties中设置Spark shell的默认日志记录。使用conf / log4j . properties。模板作为起点。

在Spark应用程序中设置日志级别

在独立的Spark应用程序中或在Spark Shell会话中,使用以下命令:

import org.apache.log4j.{Level, Logger}

Logger.getLogger(classOf[RackResolver]).getLevel
Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)

禁用日志记录(在log4j中):

在conf/log4j中使用以下命令。属性完全禁用日志记录:

log4j.logger.org=OFF

参考:Jacek Laskowski的Mastering Spark。

启动后立即火花弹型;

sc.setLogLevel("ERROR")

你可以把它放在预加载文件中,像这样使用:

spark-shell ... -I preload-file ...

在Spark 2.0 (Scala)中:

spark = SparkSession.builder.getOrCreate()
spark.sparkContext.setLogLevel("ERROR")

你的码头:HTTP:// spark.ap.org。

对于Java:

spark = SparkSession.builder.getOrCreate();
spark.sparkContext().setLogLevel("ERROR");

如果还有人被这事困住了,

以上这些方法对我都不起作用。 我必须移除

implementation group: "ch.qos.logback", name: "logback-classic", version: "1.2.3"
implementation group: 'com.typesafe.scala-logging', name: "scala-logging_$scalaVersion", version: '3.9.2'

我的身材。Gradle为日志消失。TLDR:不要导入任何其他日志框架,只要使用org.apache.log4j.Logger就可以了