python线程类改变类变量的操作代码

 更新时间:2024年01月23日 09:11:17   作者:小神龙q  
这篇文章主要介绍了python线程类改变类变量的操作代码,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

python线程类改变类变量

python线程类改变类变量

#!/usr/bin/python3
import threading,time
class Rep2(threading.Thread):
    delay = 5
    def __init(self):
        threading.Thread.__init__(self)
        #self.delay = delay
        pass
    @classmethod
    def get_delay(cls):
        print('cls_delay:',cls.delay)
    @classmethod
    def set_delay(cls,delay):
        cls.delay = delay
    def run(self):
        while True:
            time.sleep(1)
            print('run_delay:',self.delay)
# #测试1
a = Rep2()
# 需要调用线程类的start()方法而不是run()方法,调用run()方法类变量delay的值不会改变
a.start() 
print("test1,started")
Rep2.get_delay()
time.sleep(5)
Rep2.delay = 2
Rep2.get_delay()
time.sleep(5)
Rep2.set_delay(222)
Rep2.get_delay()
'''
运行结果1:
test1,started
cls_delay: 5
run_delay: 5
run_delay: 5
run_delay: 5
run_delay: 5
run_delay: 5
cls_delay: 2
run_delay: 2
run_delay: 2
run_delay: 2
run_delay: 2
cls_delay: 222
run_delay: 222
run_delay: 222
run_delay: 222
'''
import threading,time
class Rep2():
    delay = 5
    def __init(self):
        pass
        #self.delay = delay
    @classmethod
    def get_delay(cls):
        print('cls_delay:',cls.delay)
    @classmethod
    def set_delay(cls,delay):
        cls.delay = delay
    def run(self):
        print('run_delay:',self.delay)
a = Rep2()
a.run()
print("test2,started")
Rep2.get_delay()
time.sleep(5)
Rep2.delay = 2
Rep2.get_delay()
time.sleep(5)
Rep2.set_delay(222)
Rep2.get_delay()
a.run()
'''
run_delay: 5
test2,started
cls_delay: 5
cls_delay: 2
cls_delay: 222
run_delay: 222
'''

扩展

python使用标准库logging实现多进程安全的日志模块

前言

原本应用的日志是全部输出到os的stdout,也就是控制台输出。因其它团队要求也要保留日志文件,便于他们用其他工具统一采集,另一方面还要保留控制台输出,便于出问题的时候自己直接看pod日志。具体需求如下:

  • 日志支持同时控制台输出和文件输出
  • 控制台的输出级别可以高点,比如WARNING,个人这边的实际情况是WARNING或ERROR就能判断大部分问题。日志文件的输出级别设置为INFO,如果控制台日志找不到问题,可以具体看日志文件的内容。
  • 因为用到了多进程,所以写文件的时候要保证多进程安全,避免日志内容不会缺失。
  • 日志文件可以设置自动分割,避免长时间不清理导致硬盘存储资源浪费。

因为不允许随便使用第三方包,所以只能用标准库的logging。一开始想的方法比较挫——对文件加锁,但改来改去发现根本不能给别人review。翻python官方文档的时候发现logging库有个QueueHandlerQueueListener,简单试了下感觉逻辑还算清楚,遂简单整理了下代码。

示例代码

目录结构如下,main.py是入口脚本,logs目录和app.log将有程序运行时自动生成,主要日志功能放在pkg/log.py文件中。pkg/__init__.py为空文件,仅用于标识为python包。

.
├── main.py
├── logs
│   └── app.log
└── pkg
    ├── __init__.py
    └── log.py

pkg/log.py内容如下,主要提供logger已经配置好的日志对象,该对象先将日志记录到QueueHandler,然后QueueListener从队列中取日志,并分别输出到控制台和日志文件中。close_log_queue()方法将在主进程结束时调用。

import logging
from logging.handlers import TimedRotatingFileHandler, QueueHandler, QueueListener
import sys
import os
# from queue import Queue
from multiprocessing import Queue
log_queue = Queue(-1)
queue_listener = ""
logdir = "logs"
logfile = f"{logdir}/app.log"
if not os.path.exists(logdir):
    os.makedirs(logdir, exist_ok=True)
def set_formatter():
    """设置日志格式化器"""
    fmt = "%(asctime)s | %(levelname)s | %(name)s | %(filename)s:%(lineno)d | %(funcName)s | %(message)s"
    datefmt = "%Y-%m-%d %H:%M:%S"
    return logging.Formatter(fmt, datefmt=datefmt)
def set_queue_handler():
    # 不要给QueueHandler重复设置formatter, 会引起重复嵌套
    handler = QueueHandler(log_queue)
    handler.setLevel(logging.INFO)
    return handler
def set_stream_handler(formatter: logging.Formatter):
    # 输出到控制台的日志处理器
    handler = logging.StreamHandler(sys.stdout)
    handler.setLevel(logging.WARNING)
    handler.setFormatter(formatter)
    return handler
def set_timed_rotating_file_handler(formatter: logging.Formatter):
    # 输出到文件的日志处理器, 每天生成一个新文件, 最多保留10个文件
    handler = TimedRotatingFileHandler(logfile, when="midnight", backupCount=10, encoding="utf-8")
    handler.setLevel(logging.INFO)
    handler.setFormatter(formatter)
    return handler
def close_log_queue():
    # 关闭队列监听器
    global queue_listener
    if queue_listener:
        queue_listener.stop()
def get_logger(name: str = "mylogger", level: int = logging.INFO):
    logger = logging.getLogger(name)
    logger.setLevel(level)
    formatter = set_formatter()
    stream_handler = set_stream_handler(formatter)
    file_handler = set_timed_rotating_file_handler(formatter)
    queue_handler = set_queue_handler()
    logger.addHandler(queue_handler)
    global queue_listener
    if not queue_listener:
        queue_listener = QueueListener(log_queue, stream_handler, file_handler, respect_handler_level=True)
        queue_listener.start()
    return logger
logger = get_logger()
if __name__ == "__main__":
    logger.info("test")
    close_log_queue()

main.py内容如下,主要是创建子进程调用logger,观察日志输出是否正常。

from multiprocessing import Process
from pkg.log import logger, close_log_queue
import os
class MyProcess(Process):
    def __init__(self, delay):
        self.delay = delay
        super().__init__()
    def run(self):
        for i in range(self.delay):
            logger.info(f"pid: {os.getpid()}, {i}")
if __name__ == '__main__':
    logger.info(f"main process pid: {os.getpid()}")
    for i in range(10):
        p = MyProcess(10000)
        p.start()
        p.join()
    logger.info("main process end")
    close_log_queue()

执行输出大致如下所示:

$ tail logs/app.log 
2024-01-22 23:10:17 | INFO | mylogger | main.py:12 | run | pid: 7908, 1
2024-01-22 23:10:17 | INFO | mylogger | main.py:12 | run | pid: 7908, 2
2024-01-22 23:10:17 | INFO | mylogger | main.py:12 | run | pid: 7908, 3
2024-01-22 23:10:17 | INFO | mylogger | main.py:12 | run | pid: 7908, 4
2024-01-22 23:10:17 | INFO | mylogger | main.py:12 | run | pid: 7908, 5
2024-01-22 23:10:17 | INFO | mylogger | main.py:12 | run | pid: 7908, 6
2024-01-22 23:10:17 | INFO | mylogger | main.py:12 | run | pid: 7908, 7
2024-01-22 23:10:17 | INFO | mylogger | main.py:12 | run | pid: 7908, 8
2024-01-22 23:10:17 | INFO | mylogger | main.py:12 | run | pid: 7908, 9
2024-01-22 23:10:17 | INFO | mylogger | main.py:21 | <module> | main process end

补充

logging还内置很多其它handler,比如按文件大小自动切割,日志通过HTTP请求输出,日志输出到syslog等,可按照自己需求进行定制。

到此这篇关于python使用标准库logging实现多进程安全的日志模块的文章就介绍到这了,更多相关python多进程安全日志模块内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

到此这篇关于python线程类改变类变量的文章就介绍到这了,更多相关python线程类改变类变量内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Python pkg_resources模块动态加载插件实例分析

    Python pkg_resources模块动态加载插件实例分析

    当编写应用软件时,我们通常希望程序具有一定的扩展性,额外的功能——甚至所有非核心的功能,都能通过插件实现,具有可插拔性。特别是使用 Python 编写的程序,由于语言本身的动态特性,为我们的插件方案提供了很多种实现方式
    2022-08-08
  • 基于Python3.6+splinter实现自动抢火车票

    基于Python3.6+splinter实现自动抢火车票

    这篇文章主要为大家详细介绍了基于Python3.6+splinter实现自动抢火车票,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-09-09
  • tensorflow实现逻辑回归模型

    tensorflow实现逻辑回归模型

    这篇文章主要为大家详细介绍了tensorflow实现逻辑回归模型的相关资料,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-09-09
  • Python nonlocal关键字 与 global 关键字解析

    Python nonlocal关键字 与 global 关键字解析

    这篇文章主要介绍了Python nonlocal关键字 与 global 关键字解析,nonlocal关键字用来在函数或其他作用域中使用外层变量,global关键字用来在函数或其他局部作用域中使用全局变量,更多香瓜内容需要的小伙伴可以参考一下
    2022-03-03
  • python 3.7.0 安装配置方法图文教程

    python 3.7.0 安装配置方法图文教程

    这篇文章主要为大家详细介绍了python 3.7.0 安装配置方法图文教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-08-08
  • Python下opencv使用hough变换检测直线与圆

    Python下opencv使用hough变换检测直线与圆

    在数字图像中,往往存在着一些特殊形状的几何图形,像检测马路边一条直线,检测人眼的圆形等等,有时我们需要把这些特定图形检测出来,本文就详细的介绍了一下方法
    2021-06-06
  • python中的句柄操作的方法示例

    python中的句柄操作的方法示例

    这篇文章主要介绍了python中的句柄操作的方法示例,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2019-06-06
  • OpenCV4.1.0+VS2017环境配置的方法步骤

    OpenCV4.1.0+VS2017环境配置的方法步骤

    这篇文章主要介绍了OpenCV4.1.0+VS2017环境配置的方法步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-07-07
  • Python中最强大的重试库Tenacity使用探索

    Python中最强大的重试库Tenacity使用探索

    这篇文章主要为大家介绍了Python中最强大的重试库Tenacity使用探索,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-12-12
  • 在python中使用pymysql往mysql数据库中插入(insert)数据实例

    在python中使用pymysql往mysql数据库中插入(insert)数据实例

    今天小编就为大家分享一篇在python中使用pymysql往mysql数据库中插入(insert)数据实例。具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-03-03

最新评论