Python多线程 Queue 模块常见用法

 更新时间:2021年07月04日 15:52:13   作者:the_beginner  
Python的Queue模块提供一种适用于多线程编程的FIFO实现。它可用于在生产者(producer)和消费者(consumer)之间线程安全(thread-safe)地传递消息或其它数据,因此多个线程可以共用同一个Queue实例。Queue的大小(元素的个数)可用来限制内存的使用

queue介绍

queue是python中的标准库,俗称队列,可以直接import 引用,在python2.x中,模块名为Queue
在python中,多个线程之间的数据是共享的,多个线程进行数据交换的时候,不能够保证数据的安全性和一致性,所以当多个线程需要进行数据交换的时候,队列就出现了,队列可以完美解决线程间的数据交换,保证线程间数据的安全性和一致性

Python 的 Queue 模块中提供了同步的、线程安全的队列类,包括FIFO(先入先出)队列Queue,LIFO(后入先出)队列LifoQueue,和优先级队列 PriorityQueue。

这些队列都实现了锁原语,能够在多线程中直接使用,可以使用队列来实现线程间的同步。
Queue 模块中的常用方法:

Queue.qsize() 返回队列的大小
Queue.empty() 如果队列为空,返回True,反之False
Queue.full() 如果队列满了,返回True,反之False
Queue.full 与 maxsize 大小对应
Queue.get([block[, timeout]])获取队列,timeout等待时间
Queue.get_nowait() 相当Queue.get(False)
Queue.put(item) 写入队列,timeout等待时间
Queue.put_nowait(item) 相当Queue.put(item, False)
Queue.task_done() 在完成一项工作之后,Queue.task_done()函数向任务已经完成的队列发送一个信号
Queue.join() 实际上意味着等到队列为空,再执行别的操作

import threading
import time

def a():
    print("a start\n")
    for i in range(10):
        time.sleep(0.1)
    print("a finish\n")
def b():
    print("b start\n")
    print("b finish\n")
def main():
    # t=threading.Thread(target=a,name="T")
    t = threading.Thread(target=a)
    t2=threading.Thread(target=b)
    t.start()
    t2.start()
    # t2.join()
    # t.join()
    print("all done\n")
if __name__ == '__main__':
    main()

Queue 模块:

import queue
import threading
import time

exitFlag = 0

class myThread (threading.Thread):
    def __init__(self, threadID, name, q):
        threading.Thread.__init__(self)
        self.threadID = threadID
        self.name = name
        self.q = q
    def run(self):
        print ("开启线程:" + self.name)
        process_data(self.name, self.q)
        print ("退出线程:" + self.name)

def process_data(threadName, q):
    while not exitFlag:
        queueLock.acquire()
        if not workQueue.empty():
            data = q.get()
            queueLock.release()
            print ("%s processing %s" % (threadName, data))
        else:
            queueLock.release()
        time.sleep(1)

threadList = ["Thread-1", "Thread-2", "Thread-3"]
nameList = ["One", "Two", "Three", "Four", "Five"]
queueLock = threading.Lock()
workQueue = queue.Queue(10)
threads = []
threadID = 1

# 创建新线程
for tName in threadList:
    thread = myThread(threadID, tName, workQueue)
    thread.start()
    threads.append(thread)
    threadID += 1

# 填充队列
queueLock.acquire()
for word in nameList:
    workQueue.put(word)
queueLock.release()

# 等待队列清空
while not workQueue.empty():
    pass

# 通知线程是时候退出
exitFlag = 1

# 等待所有线程完成
for t in threads:
    t.join()
print ("退出主线程")

到此这篇关于Python多线程 Queue 模块的文章就介绍到这了,更多相关Python Queue 模块内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • python测试开发django之使用supervisord 后台启动celery 服务(worker/beat)

    python测试开发django之使用supervisord 后台启动celery 服务(worker/beat)

    Supervisor是用Python开发的一个client/server服务,是Linux/Unix系统下的一个进程管理工具,不支持Windows系统,这篇文章主要介绍了python测试开发django之使用supervisord 后台启动celery 服务(worker/beat),需要的朋友可以参考下
    2022-07-07
  • Python实现单例模式的四种方式详解

    Python实现单例模式的四种方式详解

    单例模式可以保证一个类仅有一个实例,并提供一个访问它的全局访问点。本文为大家介绍了Python实现单例模式的四种方式,需要的可以参考一下
    2022-05-05
  • 关于Numpy之repeat、tile的用法总结

    关于Numpy之repeat、tile的用法总结

    这篇文章主要介绍了关于Numpy之repeat、tile的用法总结,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-06-06
  • python读取一个大于10G的txt文件的方法

    python读取一个大于10G的txt文件的方法

    读取文件是一个常用的功能,那么如何用python 读取一个大于10G 的文件,需要的朋友们下面随着小编来一起学习学习吧
    2021-05-05
  • Python中装饰器兼容加括号和不加括号的写法详解

    Python中装饰器兼容加括号和不加括号的写法详解

    这篇文章主要给大家介绍了关于Python中装饰器兼容加括号和不加括号写法的相关资料,文中通过示例代码介绍的非常详细,对大家具有一定的参考学习价值,需要的朋友们下面来一起看看吧。
    2017-07-07
  • 使用Python更换外网IP的方法

    使用Python更换外网IP的方法

    这篇文章主要介绍了使用Python更换外网IP的方法,,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-07-07
  • Python  Django 母版和继承解析

    Python Django 母版和继承解析

    这篇文章主要介绍了Python Django 母版和继承解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-08-08
  • Python操作MongoDB增删改查代码示例

    Python操作MongoDB增删改查代码示例

    这篇文章主要介绍了Python操作MongoDB增删改查代码示例,需要的朋友可以参考下
    2022-12-12
  • python图像处理之反色实现方法

    python图像处理之反色实现方法

    这篇文章主要介绍了python图像处理之反色实现方法,涉及Python结合OpenCV与numpy操作图片的相关技巧,需要的朋友可以参考下
    2015-05-05
  • python实现批量按比例缩放图片效果

    python实现批量按比例缩放图片效果

    这篇文章主要为大家详细介绍了python实现批量按比例缩放图片效果,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-03-03

最新评论