python 使用多线程创建一个Buffer缓存器的实现思路

 更新时间:2020年07月02日 09:49:31   作者:繁华落尽、时光静好  
这篇文章主要介绍了python 使用多线程创建一个Buffer缓存器的实现思路,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

这几天学习人脸识别的时候,虽然运行的没有问题,但我却意识到了一个问题

在图片进行传输的时候,GPU的利用率为0

也就是说,图片的传输速度和GPU的处理速度不能很好衔接

于是,我打算利用多线程开发一个buffer缓存

实现的思路如下

定义一个Buffer类,再其构造函数中创建一个buffer空间(这里最好使用list类型)

我们还需要的定义线程锁LOCK(数据传输和提取的时候会用到)

因为需要两种方法(读数据和取数据),所以我们需要定义两个锁

实现的代码如下:

#-*-coding:utf-8-*-
import threading 

class Buffer:

  def __init__(self,size):
    self.size = size
    self.buffer = []
    self.lock = threading.Lock()
    self.has_data = threading.Condition(self.lock) # small sock depand on big sock
    self.has_pos = threading.Condition(self.lock)
  def get_size(self):
    return self.size
  def get(self):
    with self.has_data:
      while len(self.buffer) == 0:
        print("I can't go out has_data")
        self.has_data.wait()
        print("I can go out has_data")
      result = self.buffer[0]
      del self.buffer[0]
      self.has_pos.notify_all()
    return result
  def put(self, data):
    with self.has_pos:
      #print(self.count)
      while len(self.buffer)>=self.size:
        print("I can't go out has_pos")
        self.has_pos.wait()
        print("I can go out has_pos")
      # If the length of data bigger than buffer's will wait
      self.buffer.append(data)
      # some thread is wait data ,so data need release
      self.has_data.notify_all()
  
if __name__ == "__main__":
	buffer = Buffer(3)
	def get():
	  for _ in range(10000):
	    print(buffer.get())
	    
	def put():
	  a = [[1,2,3,4,5,6,7,8,9],[1,2,3,4,5,6,7,8,9],[1,2,3,4,5,6,7,8,9]]
	  for _ in range(10000):
	    buffer.put(a)
  th1 = threading.Thread(target=put)
  th2 = threading.Thread(target=get)
  th1.start()
  th2.start()
  th1.join()
  th2.join()

在这里插入图片描述

总结

到此这篇关于python 使用多线程创建一个Buffer缓存器的文章就介绍到这了,更多相关python 多线程Buffer缓存器内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • JupyterNotebook 输出窗口的显示效果调整方法

    JupyterNotebook 输出窗口的显示效果调整方法

    这篇文章主要介绍了JupyterNotebook 输出窗口的显示效果调整方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-04-04
  • 彻底弄懂Python中的回调函数(callback)

    彻底弄懂Python中的回调函数(callback)

    回调函数就是一个通过函数指针调用的函数,下面这篇文章主要给大家介绍了关于Python中回调函数(callback)的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-06-06
  • Python爬虫新手入门之初学lxml库

    Python爬虫新手入门之初学lxml库

    这篇文章主要给大家介绍了关于Python爬虫新手入门之初学lxml库的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-12-12
  • Pytest Allure的安装与应用教程详解

    Pytest Allure的安装与应用教程详解

    Allure 是由 Java 语⾔开发的⼀个轻量级,灵活的测试报告⼯具,这篇文章主要为大家详细介绍了Allure的安装与具体应用,感兴趣的可以了解下
    2024-03-03
  • Django使用Celery实现异步发送邮件

    Django使用Celery实现异步发送邮件

    这篇文章主要为大家详细介绍了Django如何使用Celery实现异步发送邮件的功能,文中的示例代码讲解详细,感兴趣的小伙伴可以了解一下
    2023-04-04
  • Python中迭代器与生成器的用法

    Python中迭代器与生成器的用法

    这篇文章介绍了Python中迭代器与生成器的用法,文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-05-05
  • python使用requests POST提交一个键多个值方式

    python使用requests POST提交一个键多个值方式

    这篇文章主要介绍了python使用requests POST提交一个键多个值方式,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-02-02
  • Httprunner简介、安装及基本使用教程

    Httprunner简介、安装及基本使用教程

    httprunner是一款面向 HTTP(S) 协议的通用测试框架。只需编写维护一份 YAML/JSON 脚本,即可实现自动化测试、性能测试、线上监控、持续集成等多种测试需求,本文给大家介绍Httprunner安装使用教程,感兴趣的朋友一起看看吧
    2022-02-02
  • 使用Python的Matplotlib库创建动态图表的技巧与实践分享

    使用Python的Matplotlib库创建动态图表的技巧与实践分享

    在数据可视化领域,Matplotlib库是Python中最流行和功能强大的工具之一,它能够生成各种静态图表,如散点图、折线图和柱状图等,本文将介绍如何使用Matplotlib库创建动态图表,并提供一些技巧和实践经验,需要的朋友可以参考下
    2024-05-05
  • Django防御csrf攻击的实现方式(包括ajax请求)

    Django防御csrf攻击的实现方式(包括ajax请求)

    这篇文章主要介绍了Django防御csrf攻击的实现方式(包括ajax请求),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-09-09

最新评论