python如何控制进程或者线程的个数

 更新时间:2020年10月16日 11:17:24   作者:项昂之的  
这篇文章主要介绍了python如何控制进程或者线程的个数,帮助大家更好的理解和使用python,感兴趣的朋友可以了解下

背景

日常开发中,难免遇到并发场景,而并发场景难免需要做流量控制,即需要对并发的进程或者线程的总量进行控制。 今天简单总结两种常用的控制线程个数的方法。

方法一:进程池/线程池

如下例demo所示, 创建了一个大小是4的进程池,然后创建5个进程,并启动

from multiprocessing import Pool
import os, time, random


def long_time_task(name):
  print('Run task %s (%s)...' % (name, os.getpid()))
  start = time.time()
  time.sleep(random.random() * 3)
  end = time.time()
  print('Task %s runs %0.2f seconds.' % (name, (end - start)))


if __name__ == '__main__':
  print('Parent process %s.' % os.getpid())
  p = Pool(4)
  for i in range(5):
    p.apply_async(long_time_task, args=(i,))
  print('Waiting for all subprocesses done...')
  p.close()
  p.join()
  print('All subprocesses done.')

运行结果如下,可以看到第5个进程会等池子里的进程完成一个后才会被启动

Run task 0 (32952)...
Run task 1 (32951)...
Run task 2 (32953)...
Run task 3 (32954)...
Task 2 runs 0.68 seconds.
Run task 4 (32953)...
Task 1 runs 1.41 seconds.
Task 0 runs 1.44 seconds.
Task 4 runs 2.15 seconds.
Task 3 runs 2.98 seconds.
All subprocesses done.

方法二:queue

queue 模块即队列,特别适合处理信息在多个线程间安全交换的多线程程序中。 下面的demo展示了如何通过queue来限制线程的并发个数

import threading
import queue
import time
import random
import os

maxThreads = 4


class Store(threading.Thread):
  def __init__(self, q):
    threading.Thread.__init__(self)
    self.queue = q
    # self.store = store

  def run(self):
    try:
      print('Run task (%s)...' % (os.getpid()))
      start = time.time()
      time.sleep(random.random() * 3)
      end = time.time()
      t = threading.currentThread()
      # 线程ID
      print('Thread id : %d' % t.ident)
      print('Thread name : %s' % t.getName())
      print('Task runs %0.2f seconds.' % (end - start))
    except Exception as e:
      print(e)
    finally:
      self.queue.get()
      self.queue.task_done()


def main():
  q = queue.Queue(maxThreads)
  for s in range(6):
    q.put(s)
    t = Store(q)
    t.start()
  q.join()
  print('over')


if __name__ == '__main__':
  main()

运行结果如下:

Run task (33259)...
Run task (33259)...
Run task (33259)...
Run task (33259)...
Thread id : 123145444999168
Thread name : Thread-13
Task runs 0.04 seconds.
Run task (33259)...
Thread id : 123145394630656
Thread name : Thread-10
Task runs 1.02 seconds.
Run task (33259)...
Thread id : 123145428209664
Thread name : Thread-12
Task runs 1.20 seconds.
Thread id : 123145394630656
Thread name : Thread-17
Task runs 0.68 seconds.
Thread id : 123145444999168
Thread name : Thread-14
Task runs 1.79 seconds.
Thread id : 123145411420160
Thread name : Thread-11
Task runs 2.96 seconds.
over

以上就是python如何控制进程或者线程的个数的详细内容,更多关于python 控制进程或线程的资料请关注脚本之家其它相关文章!

相关文章

  • Python Concurrent Futures解锁并行化编程的魔法示例

    Python Concurrent Futures解锁并行化编程的魔法示例

    Python的concurrent.futures模块为并行化编程提供了强大的工具,使得开发者能够轻松地利用多核心和异步执行的能力,本文将深入探讨concurrent.futures的各个方面,从基础概念到高级用法,为读者提供全面的了解和实用的示例代码
    2023-12-12
  • python 多线程将大文件分开下载后在合并的实例

    python 多线程将大文件分开下载后在合并的实例

    今天小编就为大家分享一篇python 多线程将大文件分开下载后在合并的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-11-11
  • Python笔记之a = [0]*x格式的含义及说明

    Python笔记之a = [0]*x格式的含义及说明

    这篇文章主要介绍了Python笔记之a = [0]*x格式的含义及说明,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-05-05
  • 使用python生成云词图实现画红楼梦词云图

    使用python生成云词图实现画红楼梦词云图

    红楼梦相信大家都看过,今天给大家介绍另一种不用搞得乌漆麻黑的方式来制作红楼梦的词云图,有需要的朋友可以借鉴参考下,希望能够有所帮助
    2021-09-09
  • 详解Python中enumerate函数的使用

    详解Python中enumerate函数的使用

    Python 的 enumerate() 函数就像是一个神秘的黑箱,它具有非常有用的高级用法。本文就来为大家详细讲一下它的使用,需要的可以参考一下
    2022-08-08
  • Pandas之排序函数sort_values()的实现

    Pandas之排序函数sort_values()的实现

    这篇文章主要介绍了Pandas之排序函数sort_values()的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-07-07
  • Python内置函数zip map filter的使用详解

    Python内置函数zip map filter的使用详解

    这篇文章主要介绍了Python内置函数zip map filter的使用,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-04-04
  • YOLOv5车牌识别实战教程(二)理论基础

    YOLOv5车牌识别实战教程(二)理论基础

    这篇文章主要介绍了YOLOv5车牌识别实战教程(二)理论基础,在这个教程中,我们将一步步教你如何使用YOLOv5进行车牌识别,帮助你快速掌握YOLOv5车牌识别技能,需要的朋友可以参考下
    2023-04-04
  • Python网络爬虫中的同步与异步示例详解

    Python网络爬虫中的同步与异步示例详解

    这篇文章主要给大家介绍了关于Python网络爬虫中同步与异步的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧。
    2018-02-02
  • Python OpenCV图像的位运算操作

    Python OpenCV图像的位运算操作

    位运算是计算机科学中一种基础而高效的操作,它直接对二进制位进行处理,在图像处理中,位运算也是一种重要的技术,尤其在图像的合成、分离、掩模处理等场景中,常常用到位运算,本文将介绍图像处理中的常见位运算操作,需要的朋友可以参考下
    2024-12-12

最新评论