解决Python httpx 运行过程中无限阻塞的问题
更新时间：2022年11月28日 17:03:25 作者：多多鱼啊
这篇文章主要介绍了解决Python httpx 运行过程中无限阻塞的问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
Python httpx 运行过程中无限阻塞
requests 模块只支持 http1，在遇到 http2 的数据接口的时候（某乎的搜索接口），需要采用支持http2 请求的模块（如 httpx、hyper）。
本文是针对 httpx 在请求数据时，出现无限阻塞问题的一些处理方法。
httpx 的 timeout 有 bug，会导致脚本在运行一段时间后，出现线程阻塞卡死的问题（无限 timeout）。
1.通过 pm2 部署脚本
另外启动一个脚本，定时对该脚本进行重启操作。
举个栗子：
import time
import os
while True:
time.sleep(60 * 60) # 一小时重启一次
os.system('pm2 restart test') 这个方法有个不好的地方，在请求过程中，可能需要翻很多页，如果不断重启脚本，可能导致无法翻到最后一页。
2.通过装饰器给函数设置一个最大执行超时时间
当函数执行时间超过某个时间就抛出 TimeOut 异常
from func_timeout import func_set_timeout
import func_timeout
import time
@func_set_timeout(5) # 函数最大执行时间 5s
def test():
time.sleep(20)
def run():
try:
test()
print('test 函数执行完成')
except func_timeout.exceptions.FunctionTimedOut:
print('test 函数执行超时')
run()如上面例子那样，在 httpx.Client 所在函数设置一个额外等待时间，当该函数执行时间超过某个时间，就强制抛出 timeout 异常，避免程序无限阻塞。
python爬虫httpx的用法
安装命令：pip install httpx
请求方式
GET
import httpx
headers = {'user-agent': 'my-app/1.0.0'}
params = {'key1': 'value1', 'key2': 'value2'}
url = 'https://httpbin.org/get'
r = httpx.get(url, headers=headers, params=params)POST
r = httpx.post('https://httpbin.org/post', data={'key': 'value'}) PUT
r = httpx.put('https://httpbin.org/put', data={'key': 'value'})DELETE
r = httpx.delete('https://httpbin.org/delete') 以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python OpenCV高斯金字塔与拉普拉斯金字塔的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-03-03
这篇文章主要给大介绍Python字符串和分享其常用函数合集，字符串、首字母大写定义、所有字母大写、所有字母小写等函数，具有一定的参考价值,需要的朋友可以参考一下2022-03-03
这篇文章主要给大家介绍了关于python海龟绘图之画国旗的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-11-11
这篇文章主要介绍了python中numpy 数组过滤详解的相关资料,需要的朋友可以参考下2023-06-06
本文主要介绍了Pandas多个条件(AND,OR,NOT)中提取行，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-02-02
短链接，通俗来说，就是将长的URL网址，通过程序计算等方式，转换为简短的网址字符串。本文将用Python语言实现这一效果，需要的可以参考一下2022-11-11
函数内部定义的变量就叫局部变量而如果一个变量既能在一个函数中使用，也可以在其他函数中使用，这样的变量就是全局变量。 本文给大家介绍python的局部变量和全局变量的相关知识，感兴趣的朋友一起看看吧2019-08-08
这篇文章主要介绍了Jupyter notebook如何实现指定浏览器打开,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-05-05
Python实现读取.nc数据并提取指定时间与经纬度维度对应的变量数值
这篇文章主要为大家详细介绍了如何使用Python语言的netCDF4库实现读取.nc格式的数据文件,并提取指定维（时间、经度与纬度）下的变量数据,需要的可以了解下2024-02-02
这篇文章主要介绍了Python捕获异常堆栈信息的几种方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-05-05
最新评论