python线程安全及多进程多线程实现方法详解
更新时间：2019年09月27日 11:25:05 作者：DRQ丶
这篇文章主要介绍了python线程安全及多进程多线程实现方法详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
进程和线程的区别
- 进程是对运行时程序的封装，是系统资源调度和分配的基本单位
- 线程是进程的子任务，cpu调度和分配的基本单位，实现进程内并发。
- 一个进程可以包含多个线程，线程依赖进程存在，并共享进程内存
什么是线程安全
一个线程的修改被另一个线程的修改覆盖掉。
python中哪些操作是线程安全的
- 一个操作可以在多线程环境中使用，并且获得正确的结果。
- 线程安全的操作线程是顺序执行的而不是并发执行的。
- 一般涉及到写操作需要考虑如何让多个线程安全访问数据。
线程同步的方式
- 互斥量（锁）： 通过互斥机制防止多个线程同时访问公共资源。
- 信号量（Semphare）： 控制同一时刻多个线程访问同一个资源的线程数。 ps：python的threading 文档
- 事件（信号）： 通过通知的方式保持多个线程的同步。
进程间的通信方式 （IPC：Inter-Process Communication 进程间传递信号或者数据）
- 管道/匿名管道/有名管道（pipe）
- 信号（Signal）：比如用户使用ctrl+c产生SIGINT程序终止信号
- 消息队列（Message）
- 共享内存（share memory）
- 进程间的信号量（Semaphore）
- 套接字（socket）：最常用的方式，我们的web应用就是这种方式
多线程的例子
# python实现多线程
import threading
lock = threading.Lock()
n = [0]
def foo():
with lock: # 加锁
n[0] = n[0] + 1
n[0] = n[0] + 1
threads = [] # 用来储存所有线程
for i in range(5000):
t = threading.Thread(target=foo) # 传入foo函数
threads.append(t)
for t in threads:
t.start()
print(n)
多进程的例子
python有GIL，可以用多进程实现cpu密集程序
- multiprocessing 多进程模块
- multiprocessing.Process 类实现多进程
- 一般在cpu密集的程序里面使用多进程，避免GIL的影响
# 多进程
import multiprocessing
def fib(n):
if n<= 1:
return 1
return fib(n-1) + fib(n-2)
if __name__ == '__main__':
jobs = []
for i in range(10,20):
p = multiprocessing.Process(target=fib, args=(i,))
jobs.append(p)
p.start()
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了python绘图demo实现流程，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习吧2022-11-11
计算pytorch标准化(Normalize)所需要数据集的均值和方差实例
今天小编就为大家分享一篇计算pytorch标准化(Normalize)所需要数据集的均值和方差实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-01-01
这篇文章主要介绍了Python日志器使用方法及原理解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-09-09
这篇文章主要为大家详细介绍了如何利用Python实现遍历大量表格文件并筛选出表格内数据缺失率低的文件的功能，感兴趣的小伙伴可以跟随小编一起学习一下2023-05-05
Scrapy爬虫框架可以实现多线程爬取目标内容，简化代码逻辑，提高开发效率，这篇文章主要介绍了Python Scrapy爬虫框架的使用示例，感兴趣想要详细了解可以参考下文2023-05-05
这篇文章主要介绍了Python开发网站目录扫描器的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-02-02
这篇文章主要介绍了Python MySQLdb Linux下安装笔记,本文分别讲解了快速安装和手动编译安装两种方法,并分别讲解了操作步骤,需要的朋友可以参考下2015-05-05
本篇文章将分享Prometheus API的基本概念到PromQL查询语言的应用,再到如何通过Python与Prometheus API进行无缝交互,通过丰富的示例代码和详细的讲解,将解锁使用Python进行实时监控的奇妙世界,为读者打开更广阔的数据分析视野2024-01-01
这篇文章主要介绍了python写入文件如何取消自动换行问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-05-05
Python爬虫实例之2021猫眼票房字体加密反爬策略(粗略版)
这篇文章主要介绍了Python爬虫实例之2021猫眼票房字体加密反爬策略(粗略版),本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-02-02
最新评论