python3通过gevent.pool限制协程并发数量的实现方法

 更新时间:2021年09月06日 11:14:37   作者:chengd  
这篇文章主要介绍了python3通过gevent.pool限制协程并发数量的实现方法,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

协程虽然是轻量级的线程,但到达一定数量后,仍然会造成服务器崩溃出错。最好的方法通过限制协程并发数量来解决此类问题。

server代码:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Author        : Cain
# @Email         : 771535427@qq.com
# @Filename      : gevnt_sockserver.py
# @Last modified : 2017-11-24  16:31
# @Description   :

import sys
import socket
import time
import gevent
from gevent import socket,monkey,pool    #导入pool
monkey.patch_all()

def server(port, pool):
    s = socket.socket()
    s.bind(('0.0.0.0', port))
    s.listen()
    while True:
        cli, addr = s.accept()
        #print("Welcome %s to SocketServer" % str(addr[0]))
        pool.spawn(handle_request, cli)    #通过pool.spawn()运行协程

def handle_request(conn):
    try:
        data = conn.recv(1024)
        print("recv:", data)
        data = 'From SockeServer:192.168.88.118---%s' % data.decode("utf8")
        conn.sendall(bytes(data, encoding="utf8"))
        if not data:
            conn.shutdown(socket.SHUT_WR)
    except Exception as ex:
        print(ex)
    finally:
        conn.close()

if __name__ == '__main__':
    pool = pool.Pool(5)    #限制并发协程数量5
    server(8888, pool)

client(通过gevent模拟并发数量):

import socket
import gevent
from gevent import socket, monkey
from gevent.pool import Pool
import time

monkey.patch_all()

HOST = '192.168.88.118'
PORT = 8888
def sockclient(i):
    #time.sleep(2)
    s = socket.socket()
    s.connect((HOST, PORT))
    #print(gevent.getcurrent())
    msg = bytes(("This is gevent: %s" % i),encoding="utf8")
    s.sendall(msg)
    data = s.recv(1024)
    print("Received", data.decode())

    s.close()

pool = Pool(5)
threads = [pool.spawn(sockclient, i) for i in range(2000)]
gevent.joinall(threads)

由于服务器限制连接并发数量;所以客户端同时并发连接数超过服务器端并发数量,就会引发连接错误信息:

Exception in thread Thread-849:
Traceback (most recent call last):
  File "C:\Users\admin\AppData\Local\Programs\Python\Python36\lib\threading.py", line 916, in _bootstrap_inner
    self.run()
  File "C:\Users\admin\AppData\Local\Programs\Python\Python36\lib\threading.py", line 864, in run
    self._target(*self._args, **self._kwargs)
  File "E:/chengd/python/python3/matp/die/geven_sockclient.py", line 26, in sockclient
    data = s.recv(1024)
ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。

到此这篇关于python3通过gevent.pool限制协程并发数量的文章就介绍到这了,更多相关python3协程并发数量内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • django之session与分页(实例讲解)

    django之session与分页(实例讲解)

    下面小编就为大家带来一篇django之session与分页(实例讲解)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-11-11
  • 详解Python中httptools模块的使用

    详解Python中httptools模块的使用

    httptools 是一个 HTTP 解析器,它首先提供了一个 parse_url 函数,用来解析 URL。这篇文章就来和大家聊聊它的用法吧,感兴趣的可以了解一下
    2023-03-03
  • Pytest中skip skipif跳过用例详解

    Pytest中skip skipif跳过用例详解

    今天给大家带来的是关于Python的相关知识,文章围绕着Pytest中skip skipif跳过用例展开,文中有非常详细的介绍及代码示例,需要的朋友可以参考下
    2021-06-06
  • 详谈python3 numpy-loadtxt的编码问题

    详谈python3 numpy-loadtxt的编码问题

    下面小编就为大家分享一篇详谈python3 numpy-loadtxt的编码问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-04-04
  • 详解如何在pyqt中通过OpenCV实现对窗口的透视变换

    详解如何在pyqt中通过OpenCV实现对窗口的透视变换

    这篇文章主要介绍了如何在pyqt中通过OpenCV实现对窗口的透视变换,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-09-09
  • 通俗讲解python 装饰器

    通俗讲解python 装饰器

    这篇文章主要介绍了python 装饰器的相关资料,帮助大家更好的理解和学习python装饰器的相关知识,感兴趣的朋友可以了解下
    2020-09-09
  • 利用python实现万年历的查询

    利用python实现万年历的查询

    本篇文章主要给大家分享的是python实现万年历的查询,利用python做能够实现万年历查询的一个小功能,感兴趣的小伙伴可以参考一下
    2021-10-10
  • Python logging模块用法示例

    Python logging模块用法示例

    这篇文章主要介绍了Python logging模块用法,结合实例形式分析了Python logging模块相关配置、函数、组件等操作方法与注意事项,需要的朋友可以参考下
    2018-08-08
  • python3 实现的对象与json相互转换操作示例

    python3 实现的对象与json相互转换操作示例

    这篇文章主要介绍了python3 实现的对象与json相互转换操作,结合实例形式分析了Python3使用json模块针对json格式数据转换操作的相关实现技巧,需要的朋友可以参考下
    2019-08-08
  • python保存数据到本地文件的方法

    python保存数据到本地文件的方法

    今天小编就为大家分享一篇python保存数据到本地文件的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-06-06

最新评论