关键词:
Pyhon 日志管理 -- logging
一直觉得运行程序是能打印日志是一个神奇的事情,不懂日志产生的原理,后来听说Pyhton 有一个logging模块,So,要好好研究一下。
先贴出代码,看看她的基本用法
#-*-coding:utf-8-*- # Time:2017/9/27 10:44 # Author:YangYangJun import logging import sys import os import time,datetime # 获取logger实例,如果参数为空则返回root logger logger = logging.getLogger() # 指定logger输出格式 formatter = logging.Formatter(‘%(asctime)s %(levelname)-8s: %(message)s‘) # 文件日志 file_handler = logging.FileHandler("test.log") file_handler.setFormatter(formatter) # 可以通过setFormatter指定输出格式 # 控制台日志 console_handler = logging.StreamHandler(sys.stdout) console_handler.formatter = formatter # 也可以直接给formatter赋值 # 为logger添加的日志处理器 logger.addHandler(file_handler) logger.addHandler(console_handler) # 指定日志的最低输出级别,默认为WARN级别 logger.setLevel(logging.INFO) # 输出不同级别的log logger.debug(‘this is debug info‘) logger.info(‘this is information‘) logger.warn(‘this is warning message‘) logger.error(‘this is error message‘) logger.fatal(‘this is fatal message, it is same as logger.critical‘) logger.critical(‘this is critical message‘) # 2016-10-08 21:59:19,493 INFO : this is information # 2016-10-08 21:59:19,493 WARNING : this is warning message # 2016-10-08 21:59:19,493 ERROR : this is error message # 2016-10-08 21:59:19,493 CRITICAL: this is fatal message, it is same as logger.critical # 2016-10-08 21:59:19,493 CRITICAL: this is critical message # 移除一些日志处理器 logger.removeHandler(file_handler) filepath = os.path.join(os.path.dirname(__file__),‘logging.conf‘) print filepath # D:/WorkSpace/Python/Study/Selenium/PyLoglogging.conf currentPath = os.path.join(os.getcwd(),‘filename‘) print currentPath # D:WorkSpacePythonStudySeleniumPyLogfilename print __file__ # D:/WorkSpace/Python/Study/Selenium/PyLog/logDemo.py print os.getcwd() # D:WorkSpacePythonStudySeleniumPyLog print os.path.dirname(__file__) # D:/WorkSpace/Python/Study/Selenium/PyLog # 记录异常信息 try: 1 / 0 except: # 等同于error级别,但是会额外记录当前抛出的异常堆栈信息 logger.exception(‘this is an exception message‘) # 2016-10-08 21:59:19,493 ERROR : this is an exception message # Traceback (most recent call last): # File "D:/Git/py_labs/demo/use_logging.py", line 45, in # 1 / 0 # ZeroDivisionError: integer division or modulo by zero #额下面这段代码是为了临时计算一下时间差可以忽略 # start = datetime.date(2017,3,28) # end = datetime.date(2017,9,27) # # days = (end - start).days # # weeks = days/7.0 # # print days # print weeks
logging配置要点
GetLogger()方法
这是最基本的入口,该方法参数可以为空,默认的logger名称是root,如果在同一个程序中一直都使用同名的logger,其实会拿到同一个实例,使用这个技巧就可以跨模块调用同样的logger来记录日志。
另外你也可以通过日志名称来区分同一程序的不同模块,比如这个例子。
logger = logging.getLogger("Web.UI") logger = logging.getLogger("Web.Service")
Formatter日志格式
Formatter对象定义了log信息的结构和内容,构造时需要带两个参数:
- 一个是格式化的模板
fmt
,默认会包含最基本的level
和message
信息 - 一个是格式化的时间样式
datefmt
,默认为2003-07-08 16:49:45,896 (%Y-%m-%d %H:%M:%S)
fmt
中允许使用的变量可以参考下表。
- %(name)s Logger的名字
- %(levelno)s 数字形式的日志级别
- %(levelname)s 文本形式的日志级别
- %(pathname)s 调用日志输出函数的模块的完整路径名,可能没有
- %(filename)s 调用日志输出函数的模块的文件名
- %(module)s 调用日志输出函数的模块名|
- %(funcName)s 调用日志输出函数的函数名|
- %(lineno)d 调用日志输出函数的语句所在的代码行
- %(created)f 当前时间,用UNIX标准的表示时间的浮点数表示|
- %(relativeCreated)d 输出日志信息时的,自Logger创建以来的毫秒数|
- %(asctime)s 字符串形式的当前时间。默认格式是“2003-07-08 16:49:45,896”。逗号后面的是毫秒
- %(thread)d 线程ID。可能没有
- %(threadName)s 线程名。可能没有
- %(process)d 进程ID。可能没有
- %(message)s 用户输出的消息
SetLevel 日志级别
Logging有如下级别: DEBUG,INFO,WARNING,ERROR,CRITICAL
默认级别是WARNING,logging模块只会输出指定level以上的log。这样的好处, 就是在项目开发时debug用的log,在产品release阶段不用一一注释,只需要调整logger的级别就可以了,很方便。
Handler 日志处理器
最常用的是StreamHandler和FileHandler, Handler用于向不同的输出端打log。
Logging包含很多handler, 可能用到的有下面几种
logging.StreamHandler: 日志输出到流,可以是sys.stderr、sys.stdout或者文件
logging.FileHandler: 日志输出到文件
日志回滚方式,实际使用时用RotatingFileHandler和TimedRotatingFileHandler
logging.handlers.BaseRotatingHandler
logging.handlers.RotatingFileHandler
logging.handlers.TimedRotatingFileHandler
logging.handlers.SocketHandler: 远程输出日志到TCP/IP sockets
logging.handlers.DatagramHandler: 远程输出日志到UDP sockets
logging.handlers.SMTPHandler: 远程输出日志到邮件地址
logging.handlers.SysLogHandler: 日志输出到syslog
logging.handlers.NTEventLogHandler: 远程输出日志到Windows NT/2000/XP的事件日志
logging.handlers.MemoryHandler: 日志输出到内存中的制定buffer
logging.handlers.HTTPHandler: 通过"GET"或"POST"远程输出到HTTP服务器
由于StreamHandler和FileHandler是常用的日志处理方式,所以直接包含在logging模块中,而其他方式则包含在logging.handlers模块中,
Configuration 配置方法
logging的配置大致有下面几种方式。
- 通过代码进行完整配置,参考开头的例子,主要是通过getLogger方法实现。
- 通过代码进行简单配置,下面有例子,主要是通过basicConfig方法实现。
- 通过配置文件,下面有例子,主要是通过
logging.config.fileConfig(filepath)
logging.basicConfig
basicConfig()
提供了非常便捷的方式让你配置logging模块并马上开始使用,可以参考下面的例子。具体可以配置的项目请查阅
import logging logging.basicConfig(filename=‘example.log‘,level=logging.DEBUG) logging.debug(‘This message should go to the log file‘) logging.basicConfig(format=‘%(levelname)s:%(message)s‘, level=logging.DEBUG) logging.debug(‘This message should appear on the console‘) logging.basicConfig(format=‘%(asctime)s %(message)s‘, datefmt=‘%m/%d/%Y %I:%M:%S %p‘) logging.warning(‘is when this event was logged.‘)
备注: 其实你甚至可以什么都不配置直接使用默认值在控制台中打log,用这样的方式替换print语句对日后项目维护会有很大帮助。
通过文件配置logging
如果你希望通过配置文件来管理logging,可以参考这个官方文档。在log4net或者log4j中这是很常见的方式。
# logging.conf [loggers] keys=root [logger_root] level=DEBUG handlers=consoleHandler #,timedRotateFileHandler,errorTimedRotateFileHandler ################################################# [handlers] keys=consoleHandler,timedRotateFileHandler,errorTimedRotateFileHandler [handler_consoleHandler] class=StreamHandler level=DEBUG formatter=simpleFormatter args=(sys.stdout,) [handler_timedRotateFileHandler] class=handlers.TimedRotatingFileHandler level=DEBUG formatter=simpleFormatter args=(‘debug.log‘, ‘H‘) [handler_errorTimedRotateFileHandler] class=handlers.TimedRotatingFileHandler level=WARN formatter=simpleFormatter args=(‘error.log‘, ‘H‘) ################################################# [formatters] keys=simpleFormatter, multiLineFormatter [formatter_simpleFormatter] format= %(levelname)s %(threadName)s %(asctime)s: %(message)s datefmt=%H:%M:%S [formatter_multiLineFormatter] format= ------------------------- %(levelname)s ------------------------- Time: %(asctime)s Thread: %(threadName)s File: %(filename)s(line %(lineno)d) Message: %(message)s datefmt=%Y-%m-%d %H:%M:%S
假设以上的配置文件放在和模块相同的目录,代码中的调用如下。
import os filepath = os.path.join(os.path.dirname(__file__), ‘logging.conf‘) logging.config.fileConfig(filepath) return logging.getLogger()
日志重复输出的坑
你有可能会看到你打的日志会重复显示多次,可能的原因有很多,但总结下来无非就一个,日志中使用了重复的handler。
第一坑
import logging logging.basicConfig(level=logging.DEBUG) fmt = ‘%(levelname)s:%(message)s‘ console_handler = logging.StreamHandler() console_handler.setFormatter(logging.Formatter(fmt)) logging.getLogger().addHandler(console_handler) logging.info(‘hello!‘) # INFO:root:hello! # INFO:hello!
上面这个例子出现了重复日志,因为在第3行调用basicConfig()
方法时系统会默认创建一个handler,如果你再添加一个控制台handler时就会出现重复日志。
第二坑
import logging def get_logger(): fmt = ‘%(levelname)s:%(message)s‘ console_handler = logging.StreamHandler() console_handler.setFormatter(logging.Formatter(fmt)) logger = logging.getLogger(‘App‘) logger.setLevel(logging.INFO) logger.addHandler(console_handler) return logger def call_me(): logger = get_logger() logger.info(‘hi‘) call_me() call_me() # INFO:hi # INFO:hi # INFO:hi
在这个例子里hi
居然打印了三次,如果再调用一次call_me()
呢?我告诉你会打印6次。why? 因为你每次调用get_logger()
方法时都会给它加一个新的handler,你是自作自受。正常的做法应该是全局只配置logger一次。
第三坑
import logging def get_logger(): fmt = ‘%(levelname)s: %(message)s‘ console_handler = logging.StreamHandler() console_handler.setFormatter(logging.Formatter(fmt)) logger = logging.getLogger(‘App‘) logger.setLevel(logging.INFO) logger.addHandler(console_handler) return logger def foo(): logging.basicConfig(format=‘[%(name)s]: %(message)s‘) logging.warn(‘some module use root logger‘) def main(): logger = get_logger() logger.info(‘App start.‘) foo() logger.info(‘App shutdown.‘) main() # INFO: App start. # [root]: some module use root logger # INFO: App shutdown. # [App]: App shutdown.
为嘛最后的App shutdown
打印了两次?所以在Stackoverflow上很多人都问,我应该怎么样把root logger关掉,root logger太坑爹坑妈了。只要你在程序中使用过root logger,那么默认你打印的所有日志都算它一份。上面的例子没有什么很好的办法,我建议你招到那个没有经过大脑就使用root logger的人,乱棍打死他或者开除他。
如果你真的想禁用root logger,有两个不是办法的办法:
logging.getLogger().handlers = [] # 删除所有的handler logging.getLogger().setLevel(logging.CRITICAL) # 将它的级别设置到最高
小结
Python中的日志模块作为标准库的一部分,功能还是比较完善的。个人觉得上手简单,另外也支持比如过滤,文件锁等高级功能,能满足大多数项目需求。
9.linux日志管理
1.日志程序rsyslogrsyslog专门处理系统日志的程序,处理绝大部分的日志记录,主要记录系统操作有关的信息,如登录信息、程序启动关闭信息、错误信息。各种应用程序也有可能产生日志信息,不属于本节所述。日志大部分存储... 查看详情
日志管理
其它的日志文件/var/log/secure:系统安装日志,文本格式,应周期性分析/var/log/btmp:当前系统上,用户的失败尝试登录相关的日志信息,二进制格式,lastb命令进行查看/var/log/wtmp:当前系统上,用户正常登录系统的相关日志信息... 查看详情
日志管理(代码片段)
日志的功能系统和程序的“日记本”记录系统、程序运行中发生的各种事件通过查看日志,了解及排除故障信息安全控制的“依据”常见的系统日志文件/var/log/messages记录内核消息、各种服务的公共消息/var/log/dmesg记录系统启动过... 查看详情
linux日志管理(代码片段)
日志管理日志管理日志进程rsyslogd常见的日志文件配置rsyslogd主配置文件RULESFACILITY&LEVELfacility设备level级别日志轮转logrotate按照配置进行轮转日志管理日志进程rsyslogdrsyslogd:系统专职日志程序,处理大部分日志记录,系... 查看详情
日志管理
日志管理1.日志备份,以/var/log/messages为例将本机/var/log/messages备份到174的/tmp下#rsync-av/var/log/messages[email protected]:/tmp#-a,--archive归档模式,表示以递归方式传输文件,并保持所有文件属性#-v,--verbose详细模式输出 2.日志打包#t... 查看详情
日志管理
一、日志管理终端颜色:白色(普通文件)、红色(压缩文件)、绿色(执行权限)、蓝色(目录)日志:一个文件,记录当前系统、用户、程序的工作状态位置系统、用户、RPM(YUM程序):/var/log/目录下源码程序:安装目录下... 查看详情
kafka日志管理
kafka启动后,会产生会多日志,经常会将磁盘撑爆。所以kafka日志清理很有必要log4j.properties该文件为kafka日志管理的配置文件,位于$KAFKA_HOME/config/log4j.properties默认该配置文件中日志存放路径为$KAFKA_HOME/logs,可以修改为其他容量... 查看详情
mysql工具日志管理整理(代码片段)
mysql提供的工具类日志种类: 1.错误日志(log_error) 用来记录启动关闭日常运行过程中,状态信息,警告,错误。默认是开启的1.1错误日志配置1默认就是开启的:/数据路径下/hostname.err2查看错误日志位置:select@@log_error;34手... 查看详情
项目日志的管理和应用log4js-node.js中的日志管理模块使用与封装
开发过程中,日志记录是必不可少的事情,尤其是生产系统中经常无法调试,因此日志就成了重要的调试信息来源。Node.js,已经有现成的开源日志模块,就是log4js,源码地址:点击打开链接项目引用方法:npminstalllog4js1、配置说... 查看详情
第十章笔记日志管理同步时间
###系统日志默认分类###/var/log/messages #系统服务及日志,包括服务的信息,报错等等/var/log/secure #系统认证信息日志/var/log/maillog #系统邮件服务信息/var/log/cron&n 查看详情
使用log4j进行日志管理
...。2、 输出调试信息.三大组成:1、 Logger类-生成日志。2、 Appender类-定义日志输出的目的地。3、 Layout类-指定日志输出的格式。17.1.1Logger组件日志共分为5种级别,从高到底(从严重到轻微)排序为:FATAL—严重的错... 查看详情
操作系统日志管理(代码片段)
文章目录系统日志文件rsyslog服务描述rsyslog日志类别日志信息等级rsyslog符号解释日志文件轮询logrotatesystemd-journaldsystemd-journald.servicejournalctl查看syslog日志分析syslog常见服务dmesg报错查看系统日志文件常见的日志文件文件路径包含... 查看详情
操作系统日志管理(代码片段)
文章目录系统日志文件rsyslog服务描述rsyslog日志类别日志信息等级rsyslog符号解释日志文件轮询logrotatesystemd-journaldsystemd-journald.servicejournalctl查看syslog日志分析syslog常见服务dmesg报错查看系统日志文件常见的日志文件文件路径包含... 查看详情
nodejs之日志管理
...获取到项目的运行信息。当项目上线时,我们就需要通过日志来分析。如同Java的log4j,nodejs中也有相关的log4js。使用过log4j的同学应该对此不会陌生。 1、日志级别log4js共有6种日志级别,分别为:trace、debug、info、warn、error、... 查看详情
mybatis的日志管理
Mybatis通过日志工厂提供日志信息,Mybatis内置的日志模版是log4j,commons.log,jdklog也可以通过slf4j简单日志模版结合log4j使用日志信息输出.具体选择哪个日志实现由MyBatis的内置日志工厂确定。它会使用最先找到的(按上文列举的... 查看详情
日志管理
1.日志:记录系统或软件它的运行状态的信息2.默认日志存放目录:/var/log/mysql /usr/local/mysql /usr/local/mysql/log/3.日志分类1)内核及系统日志:存储内核(控制硬件)及系统相关运行情况日志;/etc/rsyslog.conf(日志文件存... 查看详情
mysql日志管理
MySQL日志简介错误日志默认是否开启:开启默认路径及文件名 源码和二进制安装:datadir/$hostname.erryum安装:/var/log/mysql.log 是否可以修改:可以作用:查看MySQL启动时的报错找[error]如何修改:[root@db03data]#vim/etc/my.cnf[mys... 查看详情
操作系统日志管理(代码片段)
文章目录系统日志文件rsyslog服务描述rsyslog日志类别日志信息等级rsyslog符号解释日志文件轮询logrotatesystemd-journaldsystemd-journald.servicejournalctl查看syslog日志分析syslog常见服务dmesg报错查看系统日志文件常见的日志文件文件路径包含... 查看详情