Python 如何创建一个线程池

更新时间：2020年07月28日 14:40:27 作者：David Beazley

这篇文章主要介绍了Python 如何创建一个线程池，文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下

问题

你创建一个工作者线程池，用来响应客户端请求或执行其他的工作。

解决方案

concurrent.futures 函数库有一个 ThreadPoolExecutor 类可以被用来完成这个任务。下面是一个简单的TCP服务器，使用了一个线程池来响应客户端：

from socket import AF_INET, SOCK_STREAM, socket
from concurrent.futures import ThreadPoolExecutor

def echo_client(sock, client_addr):
  '''
  Handle a client connection
  '''
  print('Got connection from', client_addr)
  while True:
    msg = sock.recv(65536)
    if not msg:
      break
    sock.sendall(msg)
  print('Client closed connection')
  sock.close()

def echo_server(addr):
  pool = ThreadPoolExecutor(128)
  sock = socket(AF_INET, SOCK_STREAM)
  sock.bind(addr)
  sock.listen(5)
  while True:
    client_sock, client_addr = sock.accept()
    pool.submit(echo_client, client_sock, client_addr)

echo_server(('',15000))

如果你想手动创建你自己的线程池，通常可以使用一个Queue来轻松实现。下面是一个稍微不同但是手动实现的例子：

from socket import socket, AF_INET, SOCK_STREAM
from threading import Thread
from queue import Queue

def echo_client(q):
  '''
  Handle a client connection
  '''
  sock, client_addr = q.get()
  print('Got connection from', client_addr)
  while True:
    msg = sock.recv(65536)
    if not msg:
      break
    sock.sendall(msg)
  print('Client closed connection')

  sock.close()

def echo_server(addr, nworkers):
  # Launch the client workers
  q = Queue()
  for n in range(nworkers):
    t = Thread(target=echo_client, args=(q,))
    t.daemon = True
    t.start()

  # Run the server
  sock = socket(AF_INET, SOCK_STREAM)
  sock.bind(addr)
  sock.listen(5)
  while True:
    client_sock, client_addr = sock.accept()
    q.put((client_sock, client_addr))

echo_server(('',15000), 128)

使用 ThreadPoolExecutor 相对于手动实现的一个好处在于它使得任务提交者更方便的从被调用函数中获取返回值。例如，你可能会像下面这样写：

from concurrent.futures import ThreadPoolExecutor
import urllib.request

def fetch_url(url):
  u = urllib.request.urlopen(url)
  data = u.read()
  return data

pool = ThreadPoolExecutor(10)
# Submit work to the pool
a = pool.submit(fetch_url, 'http://www.python.org')
b = pool.submit(fetch_url, 'http://www.pypy.org')

# Get the results back
x = a.result()
y = b.result()

例子中返回的handle对象会帮你处理所有的阻塞与协作，然后从工作线程中返回数据给你。特别的，a.result() 操作会阻塞进程直到对应的函数执行完成并返回一个结果。

讨论

通常来讲，你应该避免编写线程数量可以无限制增长的程序。例如，看看下面这个服务器：

from threading import Thread
from socket import socket, AF_INET, SOCK_STREAM

def echo_client(sock, client_addr):
  '''
  Handle a client connection
  '''
  print('Got connection from', client_addr)
  while True:
    msg = sock.recv(65536)
    if not msg:
      break
    sock.sendall(msg)
  print('Client closed connection')
  sock.close()

def echo_server(addr, nworkers):
  # Run the server
  sock = socket(AF_INET, SOCK_STREAM)
  sock.bind(addr)
  sock.listen(5)
  while True:
    client_sock, client_addr = sock.accept()
    t = Thread(target=echo_client, args=(client_sock, client_addr))
    t.daemon = True
    t.start()

echo_server(('',15000))

尽管这个也可以工作，但是它不能抵御有人试图通过创建大量线程让你服务器资源枯竭而崩溃的攻击行为。通过使用预先初始化的线程池，你可以设置同时运行线程的上限数量。

你可能会关心创建大量线程会有什么后果。现代操作系统可以很轻松的创建几千个线程的线程池。甚至，同时几千个线程等待工作并不会对其他代码产生性能影响。当然了，如果所有线程同时被唤醒并立即在CPU上执行，那就不同了——特别是有了全局解释器锁GIL。通常，你应该只在I/O处理相关代码中使用线程池。

创建大的线程池的一个可能需要关注的问题是内存的使用。例如，如果你在OS X系统上面创建2000个线程，系统显示Python进程使用了超过9GB的虚拟内存。不过，这个计算通常是有误差的。当创建一个线程时，操作系统会预留一个虚拟内存区域来放置线程的执行栈（通常是8MB大小）。但是这个内存只有一小片段被实际映射到真实内存中。因此，Python进程使用到的真实内存其实很小（比如，对于2000个线程来讲，只使用到了70MB的真实内存，而不是9GB）。如果你担心虚拟内存大小，可以使用 threading.stack_size() 函数来降低它。例如：

import threading
threading.stack_size(65536)

如果你加上这条语句并再次运行前面的创建2000个线程试验，你会发现Python进程只使用到了大概210MB的虚拟内存，而真实内存使用量没有变。注意线程栈大小必须至少为32768字节，通常是系统内存页大小（4096、8192等）的整数倍。

以上就是Python 如何创建一个线程池的详细内容，更多关于Python 创建线程池的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

使用Python批量对文本文件编码互转的方法
这篇文章主要介绍了使用Python批量对文本文件编码互转的方法,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2023-03-03
python递归函数求n的阶乘,优缺点及递归次数设置方式
这篇文章主要介绍了python递归函数求n的阶乘,优缺点及递归次数设置方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-04-04
Python表示矩阵的方法分析
这篇文章主要介绍了Python表示矩阵的方法,结合具体实例形式分析了Python表示矩阵的方法与相关操作注意事项,需要的朋友可以参考下
2017-05-05
基于Python和Tkinter实现高考倒计时功能
随着高考的临近,每个考生都在紧锣密鼓地复习,这时候,一款实用的倒计时软件能有效帮助你规划剩余时间,提醒你不要浪费每一分每一秒,今天,我们来聊聊一款基于Python和Tkinter开发的高考倒计时软件,功能简单却极具实用性,让你在紧张的备考过程中不再迷失
2025-03-03
解读残差网络(Residual Network),残差连接(skip-connect)
这篇文章主要介绍了残差网络(Residual Network),残差连接(skip-connect),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2023-08-08
Python按照list dict key进行排序过程解析
这篇文章主要介绍了Python按照list dict key进行排序过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-04-04
Python利用Bokeh进行数据可视化的教程分享
Bokeh是Python中的数据可视化库，提供高性能的交互式图表和绘图。本文将利用Bokeh绘制一些可视化图表，文中的示例代码讲解详细，感兴趣的可以了解一下
2022-08-08
Mac更新python3.12 解决pip3安装报错问题小结
Mac使用homebrew更新了python3.12,删除了以前的版本和pip3安装软件时候报错,下面小编给大家分享Mac更新python3.12 解决pip3安装报错问题,感兴趣的朋友跟随小编一起看看吧
2024-05-05
yolov5调用usb摄像头及本地摄像头的方法实例
YOLOV5模型从发布到现在都是炙手可热的目标检测模型,被广泛运用于各大场景之中,下面这篇文章主要给大家介绍了关于yolov5调用usb摄像头及本地摄像头的相关资料,需要的朋友可以参考下
2022-03-03
PyQt5 QListWidget选择多项并返回的实例
今天小编就为大家分享一篇PyQt5 QListWidget选择多项并返回的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-06-06

Python 如何创建一个线程池

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具