Python  Asyncio模块实现的生产消费者模型的方法

 更新时间:2021年03月01日 11:02:59   投稿:mrr  
这篇文章主要介绍了Python Asyncio模块实现的生产消费者模型的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

asyncio的关键字说明

  • event_loop事件循环:程序开启一个无限循环,把一些函数注册到事件循环上,当满足事件发生的时候,调用相应的协程函数
  • coroutine协程:协程对象,指一个使用async关键字定义的函数,它的调用不会立即执行函数,而是会返回一个协程对象,协程对象需要注册到事件循环,由事件循环调用。
  • task任务:一个协程对象就是一个原生可以挂起的函数,任务则是对协程进一步封装,其中包含了任务的各种状态
  • future:代表将来执行或没有执行的任务结果。它和task上没有本质上的区别
  • async/await关键字:async定义一个协程,await用于挂起阻塞的异步调用接口,在python3.4是使用asyncio.coroutine/yield from

在设计模式中,生产消费者模型占有非常重要的地位,这个模型在现实世界中也有很多有意思的对应场景,比如做包子的人和吃包子的人,当两者速度不匹配时,就需要有一个模型来做匹配(偶合),实现做的包子都会依次消费掉。

import asyncio

class ConsumerProducerModel:
  def __init__(self, producer, consumer, queue=asyncio.Queue(), plate_size=6): # the plate holds 6pcs bread
    self.queue = queue
    self.producer = producer
    self.consumer = consumer
    self.plate_size = plate_size

  async def produce_bread(self):
    for i in range(self.plate_size):
      bread = f"bread {i}"
      await asyncio.sleep(0.5) # bread makes faster, 0.5s/pc
      await self.queue.put(bread)
      print(f'{self.producer} makes {bread}')

  async def consume_bread(self):
    while True:
      bread = await self.queue.get()
      await asyncio.sleep(1) # eat slower, 1s/pc
      print(f'{self.consumer} eats {bread}')
      self.queue.task_done()

async def main():
  queue = asyncio.Queue()
  cp1 = ConsumerProducerModel("John", "Grace", queue) # group 1
  cp2 = ConsumerProducerModel("Mike", "Lucy", queue) # group 2

  producer_1 = cp1.produce_bread()
  producer_2 = cp2.produce_bread()

  consumer_1 = asyncio.ensure_future(cp1.consume_bread())
  consumer_2 = asyncio.ensure_future(cp2.consume_bread())

  await asyncio.gather(*[producer_1, producer_2])
  await queue.join()
  consumer_1.cancel()
  consumer_2.cancel()

if __name__ == '__main__':
  loop = asyncio.get_event_loop()
  loop.run_until_complete(main())
  loop.close()

生产消费者模型可以使用多线程和队列来实现,这里选择协程不仅是因为性能不错,而且整个下来逻辑清晰:

1. 先定义初始化的东西,要有个队列,要有生产者,要有消费者,要有装面包的盘子大小;

2. 生产者:根据盘子大小生产出对应的东西(面包),将东西放入盘子(queue);

3. 消费者:从盘子上取东西,每次取东西都是一个任务,每次任务完成,就标记为task_done(调用函数)。在这个层面,一直循环;

4. 主逻辑:实例化生产消费者模型对象,创建生产者协程,创建任务(ensure_future),收集协程结果,等待所有线程结束(join),手动取消两个消费者协程;

5. 运行:首先创建事件循环,然后进入主逻辑,直到完成,关闭循环。

到此这篇关于Python Asyncio模块实现的生产消费者模型的方法的文章就介绍到这了,更多相关Python生产消费者模型内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 一文了解python 3 字符串格式化 F-string 用法

    一文了解python 3 字符串格式化 F-string 用法

    本文介绍在python 3 编程中,如何进行字符串格式化。介绍了F-string的用法,通过实例代码给大家介绍的非常详细,对大家的工作或学习具有一定的参考借鉴价值,需要的朋友参考下吧
    2020-03-03
  • 使用Python实现为PDF文档设置和移除密码

    使用Python实现为PDF文档设置和移除密码

    在数字化时代,文档的安全性变得越来越重要,特别是对于包含敏感信息的PDF文件,所以本文主要来和大家介绍一下如何使用Python实现为PDF文档设置和移除密码,需要的可以参考下
    2024-03-03
  • python 执行文件时额外参数获取的实例

    python 执行文件时额外参数获取的实例

    今天小编就为大家分享一篇python 执行文件时额外参数获取的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12
  • Python 多线程C段扫描、检测 Ping扫描脚本的实现

    Python 多线程C段扫描、检测 Ping扫描脚本的实现

    这篇文章主要介绍了Python 多线程C段扫描、检测 Ping扫描脚本的实现,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-09-09
  • python简单构建可用IP代理池

    python简单构建可用IP代理池

    这篇文章主要介绍了python构建简单可以代理池,实现过程匹配ip:port的正则表达式、匹配出所有的ip与端口,放入列表、判断爬取的代理ip是否可用、使用代理ip访问指定网站,具体实现需要的小伙伴可以参考下面文章内容
    2022-02-02
  • 在Python中给Nan值更改为0的方法

    在Python中给Nan值更改为0的方法

    今天小编就为大家分享一篇在Python中给Nan值更改为0的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-10-10
  • 决策树的python实现方法

    决策树的python实现方法

    这篇文章主要介绍了决策树的python实现方法,详细分析了决策树的优缺点及算法思想并以完整实例形式讲述了Python实现决策树的方法,具有一定的借鉴价值,需要的朋友可以参考下
    2014-11-11
  • Python操作JSON文件的知识点整理

    Python操作JSON文件的知识点整理

    Python 提供了内置的 json 模块来处理 JSON 格式的文件。该模块主要分为读取和写入 JSON 文件。本文主要为大家整理了一些Python操作JSON文件的知识点,需要的可以参考一下
    2023-01-01
  • python对指定字符串逆序的6种方法(小结)

    python对指定字符串逆序的6种方法(小结)

    这篇文章主要介绍了python对指定字符串逆序的6种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-04-04
  • django如何根据现有数据库表生成model详解

    django如何根据现有数据库表生成model详解

    这篇文章主要给大家介绍了关于django如何根据现有数据库表生成model的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Django具有一定的参考学习价值,需要的朋友可以参考下
    2022-08-08

最新评论