Python 如何限制输出日志的大小

 更新时间:2021年03月15日 09:31:58   作者:写意山水  
这篇文章主要介绍了Python 限制输出日志的大小方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

限制输出日志的大小有多种方法,最优雅的莫过于直接使用rotate机制,这种机制广泛存在于各种编程语言,Python也不例外。其次,还可以使用mount挂载一个文件,作为日志存储的位置,因为文件大小是有限的,所以日志的大小也被限制。还有可以用ulimit。

RotatingFileHandler

RotatingFileHandler是logging.handler的一种,在python docs中,这个类的构造函数示例用法如下

class logging.handlers.RotatingFileHandler(filename, mode=‘a', maxBytes=0, backupCount=0, encoding=None, delay=False)

参数

filename 输出的文件名,如果使用Python 3.6或者更新版本的Python,filename可以是一个Path对象,Path对象可以让你更优雅地操作文件路径,它是Python新增的特性。

mode 有"w"和"a",如果是w,那么每次输出日志,都会覆盖之前已经存在的日志,从第一行开始输出,如果是a,会保留之前的日志,在之前的日志后输出。

maxBytes 日志最大的大小,单位是字节

backupCount 如果日志大小达到maxBytes,会将旧日志加上.1或.2这样的后缀,与filename区分,并在新的filename文件第一行开始输出。如果为1,则有最多有一个旧日志的备份。

encoding 字符编码,常用的有utf-8

import logging
from logging.handlers import RotatingFileHandler
log = logging.getLogger()
handler = RotatingFileHandler("test", "a", 4096, 2, "utf-8")
log.addHandler(handler)
#更高级的logging特性
log.setLevel(logging.INFO) #设置过滤的日志等级
formatter = logging.Formatter("%(asctime)s %(levelname)s: %(message)")
log.setFormatter(formatter) #设置日志输出的格式

Mount

先创建文件,并格式化成ext4文件系统

dd if=/dev/zero of=./logfs bs=1M count=4
mkfs.ext4 ./logfs
mkdir log
sudo mount -t ext4 ./logfs ./log
python test.py 2>./log/test.log

需要注意的是,这种方法可能有权限问题,如果python程序权限不够,需要更改挂载后log目录的权限,使用sudo chmod 777 -R log

补充:

python控制日志级别输出,可进行全局限流,可控制控制台输出,可用于线上配置,进行日志的简单记录

# coding=utf-8
import logging
import datetime
import os
CONSOLE = True
LEVEL = "DEBUG"
# log/2020-09/2020-09-27_APPLICATION_NAME.log
APPLICATION_NAME = "APPLICATION_NAME"
# 只生成GBK的日志文件
class RecordLog:
 def __init__(self):
  """
  1、控制日志是否在控制台中打印
  2、控制日志输出的级别
  """
  # 设置是否控制台打印
  self._console = CONSOLE
  # 等级字典
  self._level_dict = {'DEBUG':1,'INFO':2,'WARNING':3,'ERROR':4,'CRITICAL':5}
  # 设置当前支持的日志等级
  self._current_level_num = self._level_dict[LEVEL]
 def get_log_file_name(self,):
  """
  创建日志文件夹,创建或调用日志文件,日志存储
  :return: log/log_folder(月份)/log_file(每天的log)
  """
  now = str(datetime.datetime.now())
  log_folder = now[:7]
  log_file = now[:10] + "_" + APPLICATION_NAME + ".log"
  if os.path.exists("log/" + log_folder):
   pass
  else:
   os.makedirs("log/" + log_folder)
  return "log/" + log_folder + "/" + log_file
 def log_content(self, content='开始记录',level="DEBUG"):
  """
  记录日志
  :param content: 记录的内容
  :param level: DEBUG, INFO, WARNING, ERROR, CRITICAL
  :return:
  """
  LOG_FILE_NAME = self.get_log_file_name()
  now1 = datetime.datetime.now()
  now_date = now1.strftime("%Y-%m-%d-%H:%M:%S")
  text = " %s %s -- %s" % (level, now_date, content)
  if level in ['DEBUG', 'INFO', 'WARNING', 'ERROR', 'CRITICAL']:
   level_num = self._level_dict[level]
   # 控制台输出
   if self._console:
    print(text)
   logger = logging.getLogger()
   fh = logging.FileHandler(filename=LOG_FILE_NAME, encoding="utf-8", mode="a")
   # formatter = logging.Formatter("%(asctime)s - %(name)s-%(levelname)s %(message)s")
   # fh.setFormatter(formatter)
   logger.addHandler(fh)
   # 设置日志等级
   if "DEBUG" == level and level_num >= self._current_level_num:
    logger.setLevel(logging.DEBUG)
   elif "INFO" == level and level_num >= self._current_level_num:
    logger.setLevel(logging.INFO)
   elif "WARNING" == level and level_num >= self._current_level_num:
    logger.setLevel(logging.WARNING)
   elif "ERROR" == level and level_num >= self._current_level_num:
    logger.setLevel(logging.ERROR)
   else:
    logger.setLevel(logging.CRITICAL)
   logger.info(text)
  else:
   raise Exception('日志等级传参错误: %s ; 正确格式为:DEBUG, INFO, WARNING, ERROR, CRITICAL'%level)
if __name__ == '__main__':
 #
 log = RecordLog()
 log.log_content(level='DEBUG')

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。如有错误或未考虑完全的地方,望不吝赐教。

相关文章

  • keras读取h5文件load_weights、load代码操作

    keras读取h5文件load_weights、load代码操作

    这篇文章主要介绍了keras读取h5文件load_weights、load代码操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-06-06
  • Python OpenCV利用笔记本摄像头实现人脸检测

    Python OpenCV利用笔记本摄像头实现人脸检测

    这篇文章主要为大家详细介绍了Python OpenCV利用笔记本摄像头实现人脸检测,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-04-04
  • numpy.ndarray 实现对特定行或列取值

    numpy.ndarray 实现对特定行或列取值

    今天小编就为大家分享一篇numpy.ndarray 实现对特定行或列取值,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-12-12
  • 浅析Python 序列化与反序列化

    浅析Python 序列化与反序列化

    这篇文章主要介绍了Python 序列化与反序列化的相关资料,文中讲解非常细致,代码帮助大家更好的理解和学习,感兴趣的朋友可以了解下
    2020-08-08
  • Python小游戏实现实例之接苹果

    Python小游戏实现实例之接苹果

    其实利用Python编写的小游戏很简单,下面这篇文章主要给大家介绍了关于Python小游戏实现实例之接苹果的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-03-03
  • Python中用psycopg2模块操作PostgreSQL方法

    Python中用psycopg2模块操作PostgreSQL方法

    python可以操作多种数据库,本篇文章给大家介绍了用psycopg2模块操作PostgreSQL方法,一起来学习下。
    2017-11-11
  • 如何用用Python制作NFT区块链作品

    如何用用Python制作NFT区块链作品

    在本文中,我们将学习如何使用 Brownie、Python 和 Chainlink 来制作非同质化的 NFT 作品,并在 OpenSea NFT 市场上展示和销售我们的成果。
    2021-06-06
  • Django Auth应用实现用户身份认证

    Django Auth应用实现用户身份认证

    Django Auth 应用一般用在用户的登录注册上,用于判断当前的用户是否合法。本文将介绍Auth的另一个功能,即认证用户身份,感兴趣的同学可以关注一下
    2021-12-12
  • 详解Python虚拟机是如何实现闭包的

    详解Python虚拟机是如何实现闭包的

    Python中的闭包是一个强大的概念,允许函数捕获和访问其周围的作用域,即使这些作用域在函数执行完毕后也能被访问,这篇文章将着重讨论Python虚拟机是如何实现闭包的,文中有相关的代码示例供大家参考,具有一定的参考价值,需要的朋友可以参考下
    2023-12-12
  • flask上使用websocket的方法示例

    flask上使用websocket的方法示例

    本文主要介绍了flask上使用websocket的方法示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-06-06

最新评论