如何停止在spark控制台显示INFO消息?

我想停止各种消息都是在火花壳。

我尝试编辑log4j。属性文件，以停止这些消息。

下面是log4j.properties的内容

# Define the root logger with appender file
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# Settings to quiet third party logs that are too verbose
log4j.logger.org.eclipse.jetty=WARN
log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO

但是消息仍然显示在控制台上。

下面是一些示例消息

15/01/05 15:11:45 INFO SparkEnv: Registering BlockManagerMaster
15/01/05 15:11:45 INFO DiskBlockManager: Created local directory at /tmp/spark-local-20150105151145-b1ba
15/01/05 15:11:45 INFO MemoryStore: MemoryStore started with capacity 0.0 B.
15/01/05 15:11:45 INFO ConnectionManager: Bound socket to port 44728 with id = ConnectionManagerId(192.168.100.85,44728)
15/01/05 15:11:45 INFO BlockManagerMaster: Trying to register BlockManager
15/01/05 15:11:45 INFO BlockManagerMasterActor$BlockManagerInfo: Registering block manager 192.168.100.85:44728 with 0.0 B RAM
15/01/05 15:11:45 INFO BlockManagerMaster: Registered BlockManager
15/01/05 15:11:45 INFO HttpServer: Starting HTTP Server
15/01/05 15:11:45 INFO HttpBroadcast: Broadcast server star

我怎么阻止这些?

当前回答

sparkContext.setLogLevel("OFF")

2016-12-16 15:53:04

其他回答

上面的答案是正确的，但并没有完全帮助我，因为我需要额外的信息。

我刚刚设置了Spark，所以log4j文件仍然有'。并且没有被读取。我相信日志记录默认为Spark core logging conf。

所以，如果你和我一样，发现上面的答案没有帮助，那么也许你也需要删除'。从你的log4j conf文件的模板后缀，然后上面的工作完美!

http://apache-spark-user-list.1001560.n3.nabble.com/disable-log4j-for-spark-shell-td11278.html

2015-05-30 06:00:02

在Python/Spark中，我们可以做到:

def quiet_logs( sc ):
  logger = sc._jvm.org.apache.log4j
  logger.LogManager.getLogger("org"). setLevel( logger.Level.ERROR )
  logger.LogManager.getLogger("akka").setLevel( logger.Level.ERROR )

定义Sparkcontaxt 'sc'后通过以下方式调用此函数:

2016-04-04 21:22:54

启动后立即火花弹型;

sc.setLogLevel("ERROR")

你可以把它放在预加载文件中，像这样使用:

spark-shell ... -I preload-file ...

在Spark 2.0 (Scala)中:

spark = SparkSession.builder.getOrCreate()
spark.sparkContext.setLogLevel("ERROR")

你的码头:HTTP:// spark.ap.org。

对于Java:

spark = SparkSession.builder.getOrCreate();
spark.sparkContext().setLogLevel("ERROR");

2016-06-15 13:27:04

编辑conf/log4j。属性文件，并更改以下行:

log4j.rootCategory=INFO, console

log4j.rootCategory=ERROR, console

另一种方法是:

启动spark-shell并输入以下内容:

import org.apache.log4j.Logger
import org.apache.log4j.Level

Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)

之后你就看不到任何日志了。

Level的其他选项包括:all、debug、error、fatal、info、off、trace、trace_int、warn

详细信息可以在文档中找到。

2015-01-07 08:48:04

调整conf / log4j。其他描述的属性 log4j。rootCategory =错误控制台确保在执行spark作业时使用log4j传递——file标志。属性文件路径如果它仍然不起作用，您可能有一个包含log4j的jar。在新的log4j.properties之前被调用的属性。删除log4j。jar中的属性(如果合适)

2016-01-01 22:28:10

如何停止在spark控制台显示INFO消息?

推荐文章

最新文章

标签