fastapi框架异步执行踩坑记录
fastapi框架异步执行踩坑
问题与背景
在公司项目中，使用了python作为中间件实现的主语言，项目是中间件性质的需要并行的为第三方提供服务，但是在使用过程中，出现了并行的问题，多个耗时操作，在串行，导致项目的分析操作耗时巨大。
web技术采用的是fastapi，这个技术官网介绍是并行的，用java起多线程访问接口，得到的结论竟然是串行的，这地方就特意研究了一下。
最佳实践
这篇文章，给我答疑解惑了：https://www.jb51.net/python/323052zd6.htm
我在项目中，翻了一个使用的错误，类似的方式如下：
@router.get("/a")
async def a():
time.sleep(1)
return {"message": "异步模式，但是同步执行sleep函数，执行过程是串行的"}这种写法在于接口访问是异步的，但是执行的时候却是在主线程中，用同步的方法，就导致了串行了。
所以async和await应该是成对出现的，否则就不是绝对的异步：
import asyncio
@router.get("/b")
async def b():
loop = asyncio.get_event_loop()
result = await loop.run_in_executor(None, time.sleep, 1)
return {"message": "线程池中运行sleep函数"}这种方案接口可以异步调用，并且接口中的内容也会被异步执行，在实际使用中，可以对方法中的内容进行封装，然后通过loop.run_in_executor去异步调用封装的一个方法，最终实现绝对的异步。
fastapi的异步大骗/局
有部分入坑fastapi的同志们，可能经常会遇到一个耗时的密集型IO任务阻塞主线程的情况，导致接口单个接口占用整体的线程时间过长，从而影响到其他的接口响应。
很多人可能会说，fastapi不是一个异步的框架吗？为什么会存在阻塞这个问题？
这是一个很好的问题，我之前也想过这个问题，但是后面才发现，原来是fastapi框架的接口，本身不会自动帮忙处理长耗时的任务，如生成式的请求，调用复杂的第三方api，这个过程大概需要10-20s。
假如说自己使用的http请求是直接requests库的请求，那么就会导致阻塞。
正确的做法应该是：
使用一个异步执行的请求方式，例如aiohttp库，手动为请求添加上这个异步的请求方法，我就是使用这个库解决了长耗时任务阻塞线程的问题。
首先得安装好这个库：
pip install aiohttp
然后就再代码当中
from fastapi import FastAPI
import aiohttp
import asyncio
app = FastAPI()
async def long_running_task(url: str):
async with aiohttp.ClientSession() as session:
async with session.post(url, json={"load": "data"}) as response:
# 处理响应数据
data = await response.json()
return data
@app.post("/start_task/")
async def start_task():
url = "http://example.com/api" # 目标 API 的 URL
task_result = await long_running_task(url)
return task_result这样，这个长任务就不会阻塞主线程了。
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
Ubuntu下使用python读取doc和docx文档的内容方法
今天小编就为大家分享一篇Ubuntu下使用python读取doc和docx文档的内容方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
今天小编就为大家分享一篇在Tensorflow中实现梯度下降法更新参数值，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-01-01
这篇文章主要介绍了Python subprocess模块详细解读，分享了相关代码示例，小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下2018-01-01
这篇文章主要介绍了基于Python获取照片的GPS位置信息,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-01-01
这篇文章主要介绍了Perl中著名的Schwartzian转换问题解决实现,本文详解讲解了Schwartzian转换涉及的排序问题,并同时给出实现代码,需要的朋友可以参考下2015-06-06
在本篇文章里小编给大家整理了关于django3.02模板中的超链接配置实例代码内容，需要的朋友们可以学习参考下。2020-02-02
Python3.9环境搭建RobotFramework的详细过程
Robot Framework是一个基于Python的，可扩展的关键字驱动的测试自动化框架，用于端到端验收测试和验收测试驱动开发（ATDD），这篇文章主要介绍了Python3.9环境搭建RobotFramework的详细过程,需要的朋友可以参考下2023-01-01
这篇文章主要介绍了python爬虫 requests-html的使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-11-11
这篇文章主要介绍了python中如何读取xlsx文件问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
用Python删除本地目录下某一时间点之前创建的所有文件的实例
下面小编就为大家分享一篇用Python删除本地目录下某一时间点之前创建的所有文件的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2017-12-12
最新评论