spark日志级别修改

大葱拌豆腐 大葱拌豆腐     2022-10-10     802

关键词:

摘要

在学习使用Spark的过程中,总是想对内部运行过程作深入的了解,其中DEBUGTRACE级别的日志可以为我们提供详细和有用的信息,那么如何进行合理设置呢,不复杂但也绝不是将一个INFO换为TRACE那么简单。

主要问题

调整Spark日志级别的配置文件是$SPARK_HOME/conf/log4j.properties,默认级别是INFO,如果曾经将其改为DEBUG的朋友可能会有这样的经历,有用的信息还没看完,就被大量的心跳检测日志给淹没了。

解决办法

只将需要的日志级别调整为_TRACE_,而将心跳检测类的设置为_INFO_级别以上,避免干扰。

log4j.properties示范

 # Set everything to be logged to the console
   log4j.rootCategory=INFO, console
   log4j.appender.console=org.apache.log4j.ConsoleAppender
   log4j.appender.console.target=System.err
   log4j.appender.console.layout=org.apache.log4j.PatternLayout
   log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

   # Settings to quiet third party logs that are too verbose
   log4j.logger.org.eclipse.jetty=WARN
   log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR
   log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
   log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO
   log4j.logger.org.apache.spark.sql.SQLContext=TRACE
   log4j.logger.org.apache.spark.sql.catalyst.analysis.Analyzer=TRACE
   log4j.logger.org.apache.spark=TRACE
   log4j.logger.org.apache.spark.storage.BlockManagerMasterActor=WARN
   log4j.logger.org.apache.spark.HeartbeatReceiver=WARN
   log4j.logger.org.apache.spark.scheduler.local.LocalActor=WARN

 

设置spark日志级别

编辑Spark中conf中配置文件log4j.properties设置日志级别为WARN,即:log4j.rootCategory=WARN,console 查看详情

删除启动消息以更改 Spark 日志级别

】删除启动消息以更改Spark日志级别【英文标题】:RemovestartupmessagetochangeSparkloglevel【发布时间】:2019-10-1813:18:18【问题描述】:我正在使用PySpark运行Python脚本(和测试),并希望从日志中删除不相关的信息。每次我启动它们时... 查看详情

Sparklyr - 在 spark-submit 中更改日志级别

】Sparklyr-在spark-submit中更改日志级别【英文标题】:Sparklyr-changeloglevelinspark-submit【发布时间】:2021-09-1405:57:15【问题描述】:我想要实现的是在$SPARK_HOME/bin/spark-submit执行期间将所有记录到控制台的信息静音。我已经通过更改$SPA... 查看详情

springboot动态修改日志级别+权限认证

1.springboot动态修改日志级别+权限认证1.1.需求网上找到的动态修改日志级别的方式,基本都是没有权限验证的,或者特地关闭权限验证,但也没给出加上验证的解决方式修改日志等级也是一个敏感操作,最好不能暴露地址直接修... 查看详情

使用arthas动态修改日志级别(代码片段)

1.找到需要修改日志级别的类sc-d*TestService目的就是为了找出classLoaderHash2.确认一下上一步找到的classLoaderHash对应类的日志级别是什么logger-c3dddf45g一定要找到root对应的level,看是否和存在以及和现有的是否一致3.修改日志等级logger-... 查看详情

Python的日志格式可以根据消息日志级别进行修改吗?

】Python的日志格式可以根据消息日志级别进行修改吗?【英文标题】:CanPython\'sloggingformatbemodifieddependingonthemessageloglevel?【发布时间】:2010-11-2312:21:06【问题描述】:我正在使用Python的logging机制将输出打印到屏幕上。我可以使用... 查看详情

在 Python3 中根据消息日志级别修改日志消息格式

】在Python3中根据消息日志级别修改日志消息格式【英文标题】:ModifyingloggingmessageformatbasedonmessagelogginglevelinPython3【发布时间】:2013-01-2811:49:15【问题描述】:我为python2here提出了这个问题,但是当答案不再适用于Python3.2.3时,我... 查看详情

confluence6修改日志文件的大小数量和级别(代码片段)

修改日志文件的大小和数量在默认的情况下,Confluence将会保持5个日志文件,每一个日志文件的大小超过20MB的时候将会被重写。你可以修改默认日志文件的大小和数量,通过编辑<CONFLUENCE-INSTALL>/confluence/WEB-INF/classes/log4j.proper... 查看详情

线上排障技巧|动态修改logger级别(代码片段)

前言大多数情况下,我们会在打印日志时定义日志的LOGGER级别,用来控制输出的信息范围。一方面,过多的输出会影响查看日志的效率,另一方面,过少的日志让问题定位变得困难。但当线上出现问题时,线上容器通常定义在inf... 查看详情

spark中的日志聚合的配置

1.介绍  Spark的日志聚合功能不是standalone模式独享的,是所有运行模式下都会存在的情况  默认情况下历史日志是保存到tmp文件夹中的  2.参考官网的知识点位置   3.修改spark-defaults.conf   4.修改env.sh   5.... 查看详情

[spark]如何设置使得spark程序不输出info级别的内容

 Spark程序在运行的时候,总是输出很多INFO级别内容查看了网上的一些文章,进行了试验。发现在/etc/spark/conf目录下,有一个log4j.properties.template$cplog4j.properties.templatelog4j.properties然后,修改下面的这一个行:log4j.rootCategory=INFO,... 查看详情

如何开关数据库告警日志及修改日志级别

...细信息文档用途本文旨在介绍如何开启和关闭数据库告警日志及修改日志级别。详细信息先提供一份通用告警日志参数设置:打开数据库参数文件$PGDATA/postgresql.auto.conf,在文件末尾追加如下内容:logging_collector=onlo... 查看详情

eclipsetomcat9console日志级别

...的稳定造成了一定的影响。可通过修改conf/logging.properties日志配置文件来屏蔽掉这部分的日志信息。一般日志的级别有:SEVERE(highestvalue)>WARNING>INFO>CONFIG>FINE>FINER>FINEST(lowestvalue)修改配置文件修改tomcat日志级别,根据... 查看详情

spark列级血缘(字段级别血缘)开发与实现

...hub上独立了一个项目(Ushas)。传统数据治理中针对spark的表级别血缘判断虽然能一定程度上解决数据的依赖关系,但是对于精确到字段之间的关系识别则显得捉襟见肘。开发此项目的用意是为了能够加强spark在列级血缘上的追... 查看详情

log4j动态调整日志级别

参考技术A需求:线上日志级别高,而定位问题时需要低级别日志便于分析问题功能:不重启服务器,提供设置页,手动触发log4j项目日志级别变化实现:本项目中手动调整本项目日志级别,不重启项目实现:在一个项目(admin)... 查看详情

springboot动态日志管理(actuator)

...访问http://localhost:8080/xxx/actuator/loggers即可看到每个文件的日志级别查看某个目录的日志级别http://localhost:8080/xxx/actuator/loggers](http://localhost:8080/rose-server/actuator/loggers/目录名可以配置指定目录的日志级别post请求修改指定目录日志级... 查看详情

基于jmx动态配置log4j日志级别

先来看比较low的修改日志级别的方式,在写程序里面。http://blog.gssxgss.me/java%E8%BF%90%E8%A1%8C%E6%97%B6%E5%8A%A8%E6%80%81%E6%94%B9%E5%8F%98%E6%97%A5%E5%BF%97%E7%BA%A7%E5%88%AB/再来通过JMX的方法动态修改程序的日志级别。https://blog.csdn.net/z20 查看详情

kafka日志清除策略

一、更改日志输出级别 config/log4j.properties中日志的级别设置的是TRACE,在长时间运行过程中产生的日志大小吓人,所以如果没有特殊需求,强烈建议将其更改成INFO级别。具体修改方法如下所示,将config/log4j.properties文件中最... 查看详情