python aiohttp创建很多线程的问题及解决

 更新时间:2024年06月27日 10:56:20   作者:Mr_Ershat  
这篇文章主要介绍了python aiohttp创建很多线程的问题及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

python aiohttp创建很多线程

最近使用 python aiohttp 进行异步的发送请求,在命令行中 用py-spy 来监控了一下 发现 运行python程序 创建了 125 线程,吓了我一跳。

解决

Google了很久 找到解决方法了。

原因

每次发送请求时 aiohttp.ClientSession 查询dns 。这个查询dns是阻塞的,所以它每次查询dns时开启一个线程的。

所以我在代码里 给它指定了 dns查询对象 起作用了。

from aiohttp.resolver import AsyncResolver
resolver = AsyncResolver()
tcp_conn = aiohttp.TCPConnector(resolver=resolver)
async with aiohttp.ClientSession(connector=tcp_conn) as session:
	await process_spider(spider, session)

运行程序时 有可能提示 需要aiodns. 安装即可: pip install aiodns .

python aiohttp模块使用

asyncio可以实现单线程并发IO操作。如果仅用在客户端,发挥的威力不大。

如果把asyncio用在服务器端,例如Web服务器,由于HTTP连接就是IO操作,因此可以用单线程+coroutine实现多用户的高并发支持。

asyncio实现了TCP、UDP、SSL等协议,aiohttp则是基于asyncio实现的HTTP框架。

我们先安装aiohttp

pip install aiohttp

然后编写一个HTTP服务器,分别处理以下URL:

  • / - 首页返回b'<h1>Index</h1>'
  • /hello/{name} - 根据URL参数返回文本hello, %s!

代码如下:

import asyncio

from aiohttp import web

async def index(request):
    await asyncio.sleep(0.5)
    return web.Response(body=b'<h1>Index</h1>')

async def hello(request):
    await asyncio.sleep(0.5)
    text = '<h1>hello, %s!</h1>' % request.match_info['name']
    return web.Response(body=text.encode('utf-8'))

async def init(loop):
    app = web.Application(loop=loop)
    app.router.add_route('GET', '/', index)
    app.router.add_route('GET', '/hello/{name}', hello)
    srv = await loop.create_server(app.make_handler(), '127.0.0.1', 8000)
    print('Server started at http://127.0.0.1:8000...')
    return srv

loop = asyncio.get_event_loop()
loop.run_until_complete(init(loop))
loop.run_forever()

注意aiohttp的初始化函数init()也是一个coroutineloop.create_server()则利用asyncio创建TCP服务。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python实现随机生成有效手机号码及身份证功能示例

    Python实现随机生成有效手机号码及身份证功能示例

    这篇文章主要介绍了Python实现随机生成有效手机号码及身份证功能,结合完整实例形式分析了Python基于手机号与身份证算法实现随机手机号及身份证的生成功能,涉及Python日期、随机数、文件读取等相关操作技巧,需要的朋友可以参考下
    2017-06-06
  • Python pickle模块进行序列化的实现示例

    Python pickle模块进行序列化的实现示例

    pickle模块是一个用于实现数据序列化与反序列化的强大工具,本文就来介绍一下Python pickle模块进行序列化的实现示例,具有一定的参考价值,感兴趣的可以了解一下
    2025-01-01
  • 基于Python获取照片的GPS位置信息

    基于Python获取照片的GPS位置信息

    这篇文章主要介绍了基于Python获取照片的GPS位置信息,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-01-01
  • Python实现注册登录功能

    Python实现注册登录功能

    这篇文章主要为大家详细介绍了Python实现注册登录功能,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-02-02
  • 关于numpy中矩阵的翻转(flip)

    关于numpy中矩阵的翻转(flip)

    这篇文章主要介绍了关于numpy中矩阵的翻转(flip),具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-06-06
  • appium+python自动化配置(adk、jdk、node.js)

    appium+python自动化配置(adk、jdk、node.js)

    这篇文章主要介绍了appium+python自动化配置(adk、jdk、node.js),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-11-11
  • 示例详解python中的排序

    示例详解python中的排序

    本文详细介绍了如何使用Python实现两组数据的纵向排序,包括开发思想、开发流程和代码示例,感兴趣的朋友一起看看吧
    2024-12-12
  • python计算机视觉OpenCV库实现实时摄像头人脸检测示例

    python计算机视觉OpenCV库实现实时摄像头人脸检测示例

    这篇文章主要为大家介绍了python使用OpenCV实现实时摄像头人脸检测的示例过程,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步
    2021-10-10
  • Python 发送邮件方法总结

    Python 发送邮件方法总结

    这篇文章主要介绍了Python 发送邮件的几种方法,帮助大家更好的理解和学习Python,感兴趣的朋友可以了解下
    2020-08-08
  • PyCharm使用Docker镜像搭建Python开发环境

    PyCharm使用Docker镜像搭建Python开发环境

    这篇文章主要介绍了PyCharm使用Docker镜像搭建Python开发环境,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-12-12

最新评论