我想停止各种消息都是在火花壳。

我尝试编辑log4j。属性文件,以停止这些消息。

下面是log4j.properties的内容

# Define the root logger with appender file
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# Settings to quiet third party logs that are too verbose
log4j.logger.org.eclipse.jetty=WARN
log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO

但是消息仍然显示在控制台上。

下面是一些示例消息

15/01/05 15:11:45 INFO SparkEnv: Registering BlockManagerMaster
15/01/05 15:11:45 INFO DiskBlockManager: Created local directory at /tmp/spark-local-20150105151145-b1ba
15/01/05 15:11:45 INFO MemoryStore: MemoryStore started with capacity 0.0 B.
15/01/05 15:11:45 INFO ConnectionManager: Bound socket to port 44728 with id = ConnectionManagerId(192.168.100.85,44728)
15/01/05 15:11:45 INFO BlockManagerMaster: Trying to register BlockManager
15/01/05 15:11:45 INFO BlockManagerMasterActor$BlockManagerInfo: Registering block manager 192.168.100.85:44728 with 0.0 B RAM
15/01/05 15:11:45 INFO BlockManagerMaster: Registered BlockManager
15/01/05 15:11:45 INFO HttpServer: Starting HTTP Server
15/01/05 15:11:45 INFO HttpBroadcast: Broadcast server star

我怎么阻止这些?


当前回答

上面的答案是正确的,但并没有完全帮助我,因为我需要额外的信息。

我刚刚设置了Spark,所以log4j文件仍然有'。并且没有被读取。我相信日志记录默认为Spark core logging conf。

所以,如果你和我一样,发现上面的答案没有帮助,那么也许你也需要删除'。从你的log4j conf文件的模板后缀,然后上面的工作完美!

http://apache-spark-user-list.1001560.n3.nabble.com/disable-log4j-for-spark-shell-td11278.html

其他回答

感谢@AkhlD和@Sachin Janani建议修改.conf文件。

以下代码解决了我的问题:

1)增加了导入org.apache.log4j。导入部分中的{级别,日志记录器}

2)在创建spark context对象后添加如下一行,即在val sc = new SparkContext(conf)后:

val rootLogger = Logger.getRootLogger()
rootLogger.setLevel(Level.ERROR)

一个有趣的想法是使用此处建议的RollingAppender: http://shzhangji.com/blog/2015/05/31/spark-streaming-logging-configuration/ 这样您就不会“污染”控制台空间,但仍然能够在$YOUR_LOG_PATH_HERE/${dm.logging.name}.log下看到结果。

    log4j.rootLogger=INFO, rolling

log4j.appender.rolling=org.apache.log4j.RollingFileAppender
log4j.appender.rolling.layout=org.apache.log4j.PatternLayout
log4j.appender.rolling.layout.conversionPattern=[%d] %p %m (%c)%n
log4j.appender.rolling.maxFileSize=50MB
log4j.appender.rolling.maxBackupIndex=5
log4j.appender.rolling.file=$YOUR_LOG_PATH_HERE/${dm.logging.name}.log
log4j.appender.rolling.encoding=UTF-8

另一个解决原因的方法是观察你通常有什么样的日志记录(来自不同的模块和依赖),并为每个日志设置粒度,同时将过于冗长的第三方日志“安静”:

例如,

    # Silence akka remoting
log4j.logger.Remoting=ERROR
log4j.logger.akka.event.slf4j=ERROR
log4j.logger.org.spark-project.jetty.server=ERROR
log4j.logger.org.apache.spark=ERROR
log4j.logger.com.anjuke.dm=${dm.logging.level}
log4j.logger.org.eclipse.jetty=WARN
log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO

在命令行上很简单…

spark2-submit——driver-java-options = " -Droot。记录器=错误控制台”. .其他选项。

编辑conf/log4j。属性文件,并更改以下行:

log4j.rootCategory=INFO, console

to

log4j.rootCategory=ERROR, console

另一种方法是:

启动spark-shell并输入以下内容:

import org.apache.log4j.Logger
import org.apache.log4j.Level

Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)

之后你就看不到任何日志了。

Level的其他选项包括:all、debug、error、fatal、info、off、trace、trace_int、warn

详细信息可以在文档中找到。

只需将以下参数添加到spark-shell或spark-submit命令

--conf "spark.driver.extraJavaOptions=-Dlog4jspark.root.logger=WARN,console"

检查确切的属性名(log4jspark.root。记录器这里)从log4j。属性文件。 希望这能有所帮助,干杯!