脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python通用日志

python通用日志使用小结

 更新时间：2023年11月14日 10:59:39   作者：面向未来的历史  
日志则是程序中非常重要的一部分,它可以记录程序运行中的异常、警告等信息,方便开发人员调试程序,本文就来介绍一下python通用日志使用小结,感兴趣的可以了解一下

环境： python 3.10.x

背景

最近在进行数据处理方面的事。 对爬虫，数据处理任务加日志， 便于知晓任务是否正确执行以及发生的错误。

日志模块

spider_log.py

import logging
from logging.handlers import TimedRotatingFileHandler
import os
cwd =  os.path.dirname(os.path.abspath(__file__))
log_path = os.path.join(cwd, "logs")
if not os.path.exists(log_path):
    os.mkdir(log_path)

logger = logging.getLogger()
logger.setLevel(logging.INFO)
ch = logging.StreamHandler()
#fh = logging.handlers.RotatingFileHandler(log_path, encoding='utf-8', mode="a", maxBytes =30*1024*1024, backupCount =10)
fh = TimedRotatingFileHandler(filename= os.path.join(log_path, "spider.log"), when='midnight', backupCount=30)
fh.suffix = "%Y-%m-%d.log"
fh.encoding = "utf-8"

formatter = logging.Formatter(
    "%(asctime)s - %(module)s - %(funcName)s - line:%(lineno)d - %(levelname)s - %(message)s"
)

ch.setFormatter(formatter)
fh.setFormatter(formatter)
logger.addHandler(ch) #将日志输出至屏幕
logger.addHandler(fh) #将日志输出至文件

此处， 设置日志按照时间滚动保存， 每天一个日志文件。最多保留30天日志文件。

日志使用

1、import 日志模块
2、添加日志记录

test.py

from  spider_log import logger
import logging
import json

logger.log(msg=json.dumps({"Task":"product-spider","url":"https://example.com"}), level=logging.INFO)
logger.log(msg="Exception:  timeout 10s" , level=logging.ERROR)

说明：
有关日志的更多使用方法， 请查阅 python logging 的使用文档。此处只是个人笔记记录。

到此这篇关于python通用日志使用小结的文章就介绍到这了,更多相关python通用日志内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • 利用Flask实现MySQL数据库增删改查API的全过程

    利用Flask实现MySQL数据库增删改查API的全过程

    这篇文章主要介绍了如何用Flask实现MySQL数据库增删改查API,本文围绕用Flask实现MySQL数据库增删改查（CRUD）API展开,并附上完整代码示例,帮助开发者掌握Flask结合MySQL开发API的方法,需要的朋友可以参考下
    2025-09-09
  • 基于Python编写一个桌面时钟屏保

    基于Python编写一个桌面时钟屏保

    这篇文章主要为大家详细介绍了如何基于Python编写一个桌面时钟屏保效果,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
    2024-12-12
  • 关于 Python json中load和loads区别

    关于 Python json中load和loads区别

    这篇文章主要介绍了关于 Python json中load和loads区别，文章也有简单的说明它们之间的相同点，然后详细介绍不同点,需要的朋友可以参考一下文章的具体内容
    2021-11-11
  • Python绘图魔法之如何用turtle库开启你的编程艺术之旅

    Python绘图魔法之如何用turtle库开启你的编程艺术之旅

    Python的turtle库是一个直观有趣的图形绘制函数库,是python的标准库之一,这篇文章主要介绍了Python绘图魔法之如何用turtle库开启你的编程艺术之旅,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2025-11-11
  • Python如何使用pymongo连接MongoDB数据库并进行相关操作

    Python如何使用pymongo连接MongoDB数据库并进行相关操作

    PyMongo是驱动程序,使python程序能够使用Mongodb数据库,使用python编写而成,下面这篇文章主要给大家介绍了关于Python如何使用pymongo连接MongoDB数据库并进行相关操作的相关资料,需要的朋友可以参考下
    2023-05-05
  • Python通过字典映射函数实现switch

    Python通过字典映射函数实现switch

    这篇文章主要介绍了Python通过字典映射函数实现switch,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-11-11
  • Python爬虫教程之利用正则表达式匹配网页内容

    Python爬虫教程之利用正则表达式匹配网页内容

    这篇文章主要给大家介绍了关于Python爬虫教程之利用正则表达式匹配网页内容的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-12-12
  • Django项目使用CircleCI的方法示例

    Django项目使用CircleCI的方法示例

    这篇文章主要介绍了Django项目使用CircleCI的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-07-07
  • 详解Python中四种关系图数据可视化的效果对比

    详解Python中四种关系图数据可视化的效果对比

    python关系图的可视化主要就是用来分析一堆数据中，每一条数据的节点之间的连接关系从而更好的分析出人物或其他场景中存在的关联关系。本文将制作四个不同的关系图的可视化效果，感兴趣的可以了解一下
    2022-11-11
  • python 实现return返回多个值

    python 实现return返回多个值

    今天小编就为大家分享一篇python 实现return返回多个值，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-11-11

最新评论