python aiohttp创建很多线程的问题及解决
更新时间：2024年06月27日 10:56:20 作者：Mr_Ershat
这篇文章主要介绍了python aiohttp创建很多线程的问题及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
python aiohttp创建很多线程
最近使用 python aiohttp 进行异步的发送请求，在命令行中 用py-spy 来监控了一下 发现 运行python程序 创建了 125 线程，吓了我一跳。
解决
Google了很久 找到解决方法了。
原因
每次发送请求时 aiohttp.ClientSession 查询dns 。这个查询dns是阻塞的，所以它每次查询dns时开启一个线程的。
所以我在代码里 给它指定了 dns查询对象 起作用了。
from aiohttp.resolver import AsyncResolver resolver = AsyncResolver() tcp_conn = aiohttp.TCPConnector(resolver=resolver) async with aiohttp.ClientSession(connector=tcp_conn) as session: await process_spider(spider, session)
运行程序时 有可能提示 需要aiodns. 安装即可: pip install aiodns .
python aiohttp模块使用
asyncio可以实现单线程并发IO操作。如果仅用在客户端，发挥的威力不大。
如果把asyncio用在服务器端，例如Web服务器，由于HTTP连接就是IO操作，因此可以用单线程+coroutine实现多用户的高并发支持。
asyncio实现了TCP、UDP、SSL等协议，aiohttp则是基于asyncio实现的HTTP框架。
我们先安装aiohttp：
pip install aiohttp
然后编写一个HTTP服务器，分别处理以下URL：
/- 首页返回b'<h1>Index</h1>'；/hello/{name}- 根据URL参数返回文本hello, %s!。
代码如下：
import asyncio
from aiohttp import web
async def index(request):
await asyncio.sleep(0.5)
return web.Response(body=b'<h1>Index</h1>')
async def hello(request):
await asyncio.sleep(0.5)
text = '<h1>hello, %s!</h1>' % request.match_info['name']
return web.Response(body=text.encode('utf-8'))
async def init(loop):
app = web.Application(loop=loop)
app.router.add_route('GET', '/', index)
app.router.add_route('GET', '/hello/{name}', hello)
srv = await loop.create_server(app.make_handler(), '127.0.0.1', 8000)
print('Server started at http://127.0.0.1:8000...')
return srv
loop = asyncio.get_event_loop()
loop.run_until_complete(init(loop))
loop.run_forever()注意aiohttp的初始化函数init()也是一个coroutine，loop.create_server()则利用asyncio创建TCP服务。
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
本文主要介绍了Pandas数据形状df.shape的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-07-07
Python中使用haystack实现django全文检索搜索引擎功能
django是python语言的一个web框架，功能强大。配合一些插件可为web网站很方便地添加搜索功能。下面通过本文给大家分享Python中使用haystack实现django全文检索搜索引擎功能，感兴趣的朋友一起看看吧2017-08-08
装饰器是 Python 的一个重要部分。简单地说：他们是修改其他函数的功能的函数。他们有助于让我们的代码更简短，也更Pythonic。大多数初学者不知道在哪儿使用它们，所以我将要分享下，哪些区域里装饰器可以让你的代码更简洁。 首先，让我们讨论下如何写你自己的装饰器2021-11-11
python+selenium打印当前页面的titl和url方法
今天小编就为大家分享一篇python+selenium打印当前页面的titl和url方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-06-06
这篇文章主要介绍了python3 如何解压缩.gz文件，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-09-09
pandas提供了一组高级的、灵活的、高效的核心函数，能够轻松的将数据规整化。这节主要对pandas合并数据集的merge函数进行详解，感兴趣的朋友跟随小编一起看看吧2019-09-09
Python中的splitlines用来分割行。当传入的参数为True时，表示保留换行符 \n。通过下面的例子就很明白了2008-09-09
这篇文章主要为大家详细介绍了Python基础中的的if-else语句，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2022-02-02
这篇文章主要介绍了django实现模板中的字符串文字和自动转义，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-03-03
这篇文章主要介绍了用Python写漏洞验证脚本,本文给大家分享完整实例代码，代码简单易懂，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-02-02
最新评论