python如何控制进程或者线程的个数

 更新时间:2020年10月16日 11:17:24   作者:项昂之的  
这篇文章主要介绍了python如何控制进程或者线程的个数,帮助大家更好的理解和使用python,感兴趣的朋友可以了解下

背景

日常开发中,难免遇到并发场景,而并发场景难免需要做流量控制,即需要对并发的进程或者线程的总量进行控制。 今天简单总结两种常用的控制线程个数的方法。

方法一:进程池/线程池

如下例demo所示, 创建了一个大小是4的进程池,然后创建5个进程,并启动

from multiprocessing import Pool
import os, time, random


def long_time_task(name):
  print('Run task %s (%s)...' % (name, os.getpid()))
  start = time.time()
  time.sleep(random.random() * 3)
  end = time.time()
  print('Task %s runs %0.2f seconds.' % (name, (end - start)))


if __name__ == '__main__':
  print('Parent process %s.' % os.getpid())
  p = Pool(4)
  for i in range(5):
    p.apply_async(long_time_task, args=(i,))
  print('Waiting for all subprocesses done...')
  p.close()
  p.join()
  print('All subprocesses done.')

运行结果如下,可以看到第5个进程会等池子里的进程完成一个后才会被启动

Run task 0 (32952)...
Run task 1 (32951)...
Run task 2 (32953)...
Run task 3 (32954)...
Task 2 runs 0.68 seconds.
Run task 4 (32953)...
Task 1 runs 1.41 seconds.
Task 0 runs 1.44 seconds.
Task 4 runs 2.15 seconds.
Task 3 runs 2.98 seconds.
All subprocesses done.

方法二:queue

queue 模块即队列,特别适合处理信息在多个线程间安全交换的多线程程序中。 下面的demo展示了如何通过queue来限制线程的并发个数

import threading
import queue
import time
import random
import os

maxThreads = 4


class Store(threading.Thread):
  def __init__(self, q):
    threading.Thread.__init__(self)
    self.queue = q
    # self.store = store

  def run(self):
    try:
      print('Run task (%s)...' % (os.getpid()))
      start = time.time()
      time.sleep(random.random() * 3)
      end = time.time()
      t = threading.currentThread()
      # 线程ID
      print('Thread id : %d' % t.ident)
      print('Thread name : %s' % t.getName())
      print('Task runs %0.2f seconds.' % (end - start))
    except Exception as e:
      print(e)
    finally:
      self.queue.get()
      self.queue.task_done()


def main():
  q = queue.Queue(maxThreads)
  for s in range(6):
    q.put(s)
    t = Store(q)
    t.start()
  q.join()
  print('over')


if __name__ == '__main__':
  main()

运行结果如下:

Run task (33259)...
Run task (33259)...
Run task (33259)...
Run task (33259)...
Thread id : 123145444999168
Thread name : Thread-13
Task runs 0.04 seconds.
Run task (33259)...
Thread id : 123145394630656
Thread name : Thread-10
Task runs 1.02 seconds.
Run task (33259)...
Thread id : 123145428209664
Thread name : Thread-12
Task runs 1.20 seconds.
Thread id : 123145394630656
Thread name : Thread-17
Task runs 0.68 seconds.
Thread id : 123145444999168
Thread name : Thread-14
Task runs 1.79 seconds.
Thread id : 123145411420160
Thread name : Thread-11
Task runs 2.96 seconds.
over

以上就是python如何控制进程或者线程的个数的详细内容,更多关于python 控制进程或线程的资料请关注脚本之家其它相关文章!

相关文章

  • python turtle绘图命令及案例

    python turtle绘图命令及案例

    这篇文章主要给大家分享的是python turtle绘图命令及案例,绘图有很多命令,可以划分为三种:画笔运动命令、画笔控制命令、全局控制命令,下面来看看文章的详细内容吧,需要的朋友可以参考一下
    2021-11-11
  • Python 包管理器pip入门教程

    Python 包管理器pip入门教程

    这篇文章主要为大家介绍了Python pip包管理器入门教程详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-11-11
  • python中利用Future对象异步返回结果示例代码

    python中利用Future对象异步返回结果示例代码

    future是一种对象,表示异步执行的操作。下面这篇文章主要给大家介绍了关于python中利用Future对象异步返回结果的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考借鉴,下面来一起看看吧。
    2017-09-09
  • Python微信公众号开发平台

    Python微信公众号开发平台

    这篇文章主要介绍了Python微信公众号开发平台,本文通过实例代码给大家介绍的非常详细,需要的朋友可以参考下
    2018-01-01
  • Python中的CURL PycURL使用例子

    Python中的CURL PycURL使用例子

    这篇文章主要介绍了Python中的CURL PycURL使用例子,需要的朋友可以参考下
    2014-06-06
  • Python 多线程知识点总结及实例用法

    Python 多线程知识点总结及实例用法

    在本篇内容里小编给大家整理了一篇关于Python 多线程知识点总结及实例用法,对想好学习PY的用户非常友好,需要的参考下吧。
    2021-12-12
  • Python文件的读写和异常代码示例

    Python文件的读写和异常代码示例

    这篇文章主要介绍了Python文件的读写和异常代码示例,首先分享了文件读写的简单方法,然后略为详细地介绍了Python异常的相关内容,不足之处,欢迎补充。
    2017-10-10
  • python 命名规范知识点汇总

    python 命名规范知识点汇总

    这里给大家分享的是在python开发过程中需要注意的命名的规范的知识汇总,有需要的小伙伴可以查看下
    2020-02-02
  • 详解numpy1.19.4与python3.9版本冲突解决

    详解numpy1.19.4与python3.9版本冲突解决

    这篇文章主要介绍了详解numpy1.19.4与python3.9版本冲突解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-12-12
  • 用python计算文件的MD5值

    用python计算文件的MD5值

    这篇文章主要介绍了用python计算文件的MD5值的方法,帮助大家更好的理解和使用python,感兴趣的朋友可以了解下
    2020-12-12

最新评论