python中的日志文件按天分割

 更新时间:2023年08月15日 17:14:05   作者:城先生的小白之路  
这篇文章主要介绍了python中的日志文件按天分割方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

python日志文件按天分割

在服务器的使用过程中,我经常会有长时间运行的服务,那么为了方便我们查看日志,所以会产生每天都能新建一个新的日志文件的需求,其实这个问题很简单,只需要使用python的logging库的handlers模块的TimedRotatingFileHandler类即可

话不多说,上代码,边看代码边解释

# #coding=utf-8
import logging,os  # 引入logging模块
from com_tools import setting
from logging import handlers
class Logger(object):
    level_relations = {
        'debug':logging.DEBUG,
        'info':logging.INFO,
        'warning':logging.WARNING,
        'error':logging.ERROR,
        'crit':logging.CRITICAL
    }#日志级别关系映射
    def __init__(self,filename,level='info',when='MIDNIGHT',backCount=7,fmt='%(asctime)s - %(pathname)s[line:%(lineno)d] - %(levelname)s: %(message)s'):
        self.logger = logging.getLogger(filename)
        format_str = logging.Formatter(fmt)#设置日志格式
        self.logger.setLevel(self.level_relations.get(level))#设置日志级别
        sh = logging.StreamHandler()#往控制台输出
        sh.setFormatter(format_str) #设置控制台上显示的格式
        th = handlers.TimedRotatingFileHandler(filename=filename,interval=1,when=when,backupCount=backCount,encoding='utf-8')#往文件里写入#指定间隔时间自动生成文件的处理器
        #实例化TimedRotatingFileHandler
        #interval是时间间隔,backupCount是备份文件的个数,如果超过这个个数,就会自动删除,when是间隔的时间单位,单位有以下几种:
        # S 秒
        # M 分
        # H 小时、
        # D 天、
        # W 每星期(interval==0时代表星期一)
        # midnight 每天凌晨
        th.suffix = "%Y-%m-%d.log" #设置文件后缀
        th.setFormatter(format_str)#设置文件里写入的格式
        self.logger.addHandler(sh) #把对象加到logger里
        self.logger.addHandler(th)
logfile = os.path.join(setting.logs_path, "daodianmockapi.txt") # 这个文件的名称就是当天的日志文件,过往的日志文件,会在后面追加文件后缀 th.suffix
logger = Logger(logfile,level='debug')
if __name__ == '__main__':
    #logger = Logger('all.log',level='debug')
    # filename = setting.now_time+ ".txt"
    # logfile = os.path.join(setting.logs_path,filename)
    # logger = Logger(logfile,level='debug')
    logger.logger.debug('debug') # 括号内的内容即为日志的文本内容
    logger.logger.info('info')
    logger.logger.warning('警告')
    logger.logger.error('报错')
    logger.logger.critical('严重')
    #Logger('error.log', level='error').logger.error('error')

日志分解分割效果

注意:

整个flask框架写mock接口就到这里结束了,后面应该是写Django的学习了

python切割大日志文件几种方式

工作线上报错了,找运维下载了线上的日志文件排查问题,但是日志文件太大了,没办法用NotePad++打开,于是乎想着要切割一下日志文件

方法一:指定目标文件数量分割

import os
# 要分割的文件
sourceFileName = 'normal-app.log'
# 分割的文件个数
fileNum = 10       
def cutFile():
    print("正在读取文件...")
    sourceFileData = open(sourceFileName, 'r', encoding='utf-8')
    ListOfLine = sourceFileData.read().splitlines()  # 将读取的文件内容按行分割,然后存到一个列表中
    totalLine = len(ListOfLine)
    print("文件共有" + str(totalLine) + "行")
    print("请输入需要将文件分割的个数:") 
    p = totalLine//fileNum + 1
    print("需要将文件分成"+str(fileNum)+"个子文件")
    print("每个文件最多有"+str(p)+"行")
    print("开始进行分割···")
    for i in range(fileNum):
        destFileName = os.path.splitext(sourceFileName)[
            0] + "_" + str(i + 1)+".log"
        print("正在生成子文件" + destFileName)
        destFileData = open(destFileName, "w", encoding='utf-8')
        if(i == fileNum-1):
            for line in ListOfLine[i*p:]:
                destFileData.write(line+'\n')
        else:
            for line in ListOfLine[i*p:(i+1)*p]:
                destFileData.write(line+'\n')
        destFileData.close()
    print("分割完成")
if __name__ == '__main__':
    cutFile()

方法二:指定文件大小分割

这种方法是按照大小分割文件,会存在同一行被分割在两个文件中的情况

import os
filename = "normal-app.log"  # 需要进行分割的文件
size = 10000000  # 分割大小10M
def createSubFile(srcName, sub, buf):
    [des_filename, extname] = os.path.splitext(srcName)
    filename = des_filename + '_' + str(sub) + extname
    print('正在生成子文件: %s' % filename)
    with open(filename, 'wb') as fout:
        fout.write(buf)
        return sub+1
def cutFile(filename, size):
    with open(filename, 'rb') as fin:
        buf = fin.read(size)
        sub = 1
        while len(buf) > 0:
            sub = createSubFile(filename, sub, buf)
            buf = fin.read(size)
    print("ok")
if __name__ == "__main__":
    cutFile(filename, size)

方法三:指定目标行数分割

import os
# 要分割的文件
sourceFileName = 'normal-app.log'
 # 定义分割的行数
lineNum = 100000    
def cutFile():
    print("正在读取文件...")
    sourceFileData = open(sourceFileName, 'r', encoding='utf-8')
    ListOfLine = sourceFileData.read().splitlines()  # 将读取的文件内容按行分割,然后存到一个列表中
    totalLine = len(ListOfLine)
    print("文件共有" + str(totalLine) + "行")
    print("请输入需要将文件分割的个数:") 
    fileNum = totalLine//lineNum + 1
    print("需要将文件分成"+str(fileNum)+"个子文件")
    print("开始进行分割···")
    for i in range(fileNum):
        destFileName = os.path.splitext(sourceFileName)[
            0] + "_" + str(i + 1)+".log"
        print("正在生成子文件" + destFileName)
        destFileData = open(destFileName, "w", encoding='utf-8')
        if(i == fileNum-1):
            for line in ListOfLine[i*lineNum:]:
                destFileData.write(line+'\n')
        else:
            for line in ListOfLine[i*lineNum:(i+1)*lineNum]:
                destFileData.write(line+'\n')
        destFileData.close()
    print("分割完成")
if __name__ == '__main__':
    cutFile()

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • 一个可以套路别人的python小程序实例代码

    一个可以套路别人的python小程序实例代码

    本文通过一段实例代码给大家分享一个可以套路别人的python小程序,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-04-04
  • Python3实现的简单三级菜单功能示例

    Python3实现的简单三级菜单功能示例

    这篇文章主要介绍了Python3实现的简单三级菜单功能,涉及Python用户交互以及针对json格式数据的遍历、读取、判断等相关操作技巧,需要的朋友可以参考下
    2019-03-03
  • Python3中在Anaconda环境下安装basemap包

    Python3中在Anaconda环境下安装basemap包

    今天小编就为大家分享一篇关于Python3中在Anaconda环境下安装basemap包的文章,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2018-10-10
  • python一行输入n个数据问题

    python一行输入n个数据问题

    这篇文章主要介绍了python一行输入n个数据问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-05-05
  • python-redis-lock实现锁自动续期的源码逻辑

    python-redis-lock实现锁自动续期的源码逻辑

    这篇文章主要介绍了python-redis-lock实现锁自动续期的源码逻辑,其中用到了多线程threading、弱引用weakref和Lua脚本等相关知识,需要的朋友可以参考下
    2024-07-07
  • python中定义结构体的方法

    python中定义结构体的方法

    Python中没有专门定义结构体的方法,但可以使用class标记定义类来代替结构体,其成员可以在构造函数__init__中定义,具体方法如下,特分享下,方便需要的朋友
    2013-03-03
  • Python使用Dask进行大规模数据处理

    Python使用Dask进行大规模数据处理

    在数据科学和数据分析领域,数据集的规模不断增长,传统的单机处理方式往往无法满足需求,为了解决这个问题,Dask应运而生,Dask是一个灵活的并行计算库,可以轻松地处理大规模数据集,本文将介绍Dask的基本概念、安装方法以及如何使用Dask进行高效的数据处理
    2024-11-11
  • python numpy linspace函数使用详解

    python numpy linspace函数使用详解

    本文介绍了Python Numpy库中的linspace函数,该函数用于生成均匀分布的数值序列,通过示例和详细参数解释,帮助读者理解如何使用linspace函数,最后,对比了linspace和arange函数之间的主要差异,感兴趣的朋友跟随小编一起看看吧
    2024-12-12
  • Python实现轻松处理两行表头Excel并可视化分析(附完整代码)

    Python实现轻松处理两行表头Excel并可视化分析(附完整代码)

    在日常的数据处理中,我们经常会遇到多级表头的 Excel 文件,本文通过一个实际案例,带你完整了解读取 Excel ,整理多级表头 ,提取库存,销量的数据 ,绘图可视化的完整步骤吧
    2025-11-11
  • python元组和字典的内建函数实例详解

    python元组和字典的内建函数实例详解

    这篇文章主要介绍了python元组和字典的内建函数,结合实例形式详细分析了Python元组和字典的各种常见内建函数功能与相关使用技巧,需要的朋友可以参考下
    2019-10-10

最新评论