浅析Python多线程下的变量问题

 更新时间:2015年04月28日 15:49:31   作者:廖雪峰  
这篇文章主要介绍了Python多线程下的变量问题,由于GIL的存在,Python的多线程编程问题一直是开发者中的热点话题,需要的朋友可以参考下

在多线程环境下,每个线程都有自己的数据。一个线程使用自己的局部变量比使用全局变量好,因为局部变量只有线程自己能看见,不会影响其他线程,而全局变量的修改必须加锁。

但是局部变量也有问题,就是在函数调用的时候,传递起来很麻烦:

def process_student(name):
  std = Student(name)
  # std是局部变量,但是每个函数都要用它,因此必须传进去:
  do_task_1(std)
  do_task_2(std)

def do_task_1(std):
  do_subtask_1(std)
  do_subtask_2(std)

def do_task_2(std):
  do_subtask_2(std)
  do_subtask_2(std)

每个函数一层一层调用都这么传参数那还得了?用全局变量?也不行,因为每个线程处理不同的Student对象,不能共享。

如果用一个全局dict存放所有的Student对象,然后以thread自身作为key获得线程对应的Student对象如何?

global_dict = {}

def std_thread(name):
  std = Student(name)
  # 把std放到全局变量global_dict中:
  global_dict[threading.current_thread()] = std
  do_task_1()
  do_task_2()

def do_task_1():
  # 不传入std,而是根据当前线程查找:
  std = global_dict[threading.current_thread()]
  ...

def do_task_2():
  # 任何函数都可以查找出当前线程的std变量:
  std = global_dict[threading.current_thread()]
  ...

这种方式理论上是可行的,它最大的优点是消除了std对象在每层函数中的传递问题,但是,每个函数获取std的代码有点丑。

有没有更简单的方式?

ThreadLocal应运而生,不用查找dict,ThreadLocal帮你自动做这件事:

import threading

# 创建全局ThreadLocal对象:
local_school = threading.local()

def process_student():
  print 'Hello, %s (in %s)' % (local_school.student, threading.current_thread().name)

def process_thread(name):
  # 绑定ThreadLocal的student:
  local_school.student = name
  process_student()

t1 = threading.Thread(target= process_thread, args=('Alice',), name='Thread-A')
t2 = threading.Thread(target= process_thread, args=('Bob',), name='Thread-B')
t1.start()
t2.start()
t1.join()
t2.join()

执行结果:

Hello, Alice (in Thread-A)
Hello, Bob (in Thread-B)

全局变量local_school就是一个ThreadLocal对象,每个Thread对它都可以读写student属性,但互不影响。你可以把local_school看成全局变量,但每个属性如local_school.student都是线程的局部变量,可以任意读写而互不干扰,也不用管理锁的问题,ThreadLocal内部会处理。

可以理解为全局变量local_school是一个dict,不但可以用local_school.student,还可以绑定其他变量,如local_school.teacher等等。

ThreadLocal最常用的地方就是为每个线程绑定一个数据库连接,HTTP请求,用户身份信息等,这样一个线程的所有调用到的处理函数都可以非常方便地访问这些资源。

相关文章

  • Python常见读写文件操作实例总结【文本、json、csv、pdf等】

    Python常见读写文件操作实例总结【文本、json、csv、pdf等】

    这篇文章主要介绍了Python常见读写文件操作,结合实例形式总结分析了Python常见的各种文件读写操作,包括文本、json、csv、pdf等文件的读写与相关注意事项,需要的朋友可以参考下
    2019-04-04
  • opencv将视频逐帧保存为图片的实现示例

    opencv将视频逐帧保存为图片的实现示例

    本文使用python-opencv将本地视频逐帧保存为图片(.jpg)格式,将保存的图片放在当前目录的一个文件夹内,具有一定的参考价值,感兴趣的可以了解一下
    2023-09-09
  • tkinter如何获取复选框(Checkbutton)的值

    tkinter如何获取复选框(Checkbutton)的值

    这篇文章主要介绍了tkinter如何获取复选框(Checkbutton)的值问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-01-01
  • Flask SocketIO实现动态绘图的示例详解

    Flask SocketIO实现动态绘图的示例详解

    Flask-SocketIO 是基于 Flask 的一个扩展,用于简化在 Flask 应用中集成 WebSocket 功能,本文主要介绍了Flask SocketIO如何实现动态绘图,需要的可以参考下
    2023-11-11
  • 解决NameError:name'pip'is not defined使用pip时报错问题

    解决NameError:name'pip'is not defined使用pip

    使用pip时遇到NameError:name ‘pip’ is not defined错误通常是由于在Python环境内直接尝试运行pip命令导致的,正确的做法是在Python外部的命令行中运行pip命令,这个错误提醒我们在使用pip时,应确保在正确的环境中执行相关命令
    2024-10-10
  • python 读文件,然后转化为矩阵的实例

    python 读文件,然后转化为矩阵的实例

    下面小编就为大家分享一篇python 读文件,然后转化为矩阵的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-04-04
  • 如何将写好的.py/.java程序变成.exe文件详解

    如何将写好的.py/.java程序变成.exe文件详解

    有时候我们需要将自己写的代码打包成exe文件,给别人使用需要怎么办呢,下面这篇文章主要给大家介绍了关于如何将写好的.py/.java程序变成.exe文件的相关资料,需要的朋友可以参考下
    2023-01-01
  • python使用pyhook监控键盘并实现切换歌曲的功能

    python使用pyhook监控键盘并实现切换歌曲的功能

    这篇文章主要介绍了python使用pyhook监控键盘并实现切换歌曲的功能,非常酷炫的一个小程序,可以让你在游戏时避免切出游戏直接换歌,需要的朋友可以参考下
    2014-07-07
  • 详解如何使用Python实现过滤指定进程

    详解如何使用Python实现过滤指定进程

    Python提供了多种方式来实现对进程的过滤和操作,本文将介绍如何利用Python来过滤指定进程,并展示一些实用的技巧和方法,希望对大家有所帮助
    2024-04-04
  • Tensorflow之Saver的用法详解

    Tensorflow之Saver的用法详解

    本篇文章主要介绍了Tensorflow之Saver的用法详解,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-04-04

最新评论