Python requests请求超时的解决方案

更新时间：2024年12月17日 09:38:03 作者：IT之一小佬

在进行网络数据爬取过程中,网络请求超时是一个令人头疼的问题,尤其在Python中,我们常常需要应对各种网络爬虫、API调用或其他网络操作,而网络请求超时的原因千奇百怪,在本篇文章中,我们将深入探讨Python requests请求超时的解决方案,需要的朋友可以参考下

1、socket

全局设置。

import socket
 
socket.setdefaulttimeout(1)

t：代表经过t秒后，如果还未下载成功，自动跳入下一次操作，此次下载失败。

2、添加timeout

使用timeout 参数可以设定等待连接的秒数，如果等待超时，Requests会抛出异常。

示例代码1：

import requests
 
res = requests.get('https://github.com', timeout=0.01)
print(res)

运行结果：

示例代码2：

import requests
 
res = requests.get('https://github.com', timeout=10)
print(res)

运行结果：

注意：timeout 仅对连接过程有效，与响应体的下载无关。 timeout 并不是整个下载响应的时间限制，而是如果服务器在 timeout 秒内没有应答，将会引发一个异常（更精确地说，是在 timeout 秒内没有从基础套接字上接收到任何字节的数据时)。

3、HTTPAdapter(max_retries=3)重试

示例代码：

import time
import requests
from requests.adapters import HTTPAdapter
 
 
s = requests.Session()
s.mount('http://', HTTPAdapter(max_retries=3))
s.mount('https://', HTTPAdapter(max_retries=3))
 
print(time.strftime('%Y-%m-%d %H:%M:%S'))
 
try:
    res = s.get('https://github.com', timeout=2)
    print(res)
except requests.exceptions.RequestException as e:
    print(e)
 
print(time.strftime('%Y-%m-%d %H:%M:%S'))

运行结果：

注意：max_retries 为最大重试次数，重试3次，加上最初的一次请求，一共是4次，所以上述代码运行耗时至少是8秒而不是6秒。

4、捕捉异常

示例代码1：

import requests
 
 
def get_html(url, timeout=5):
    i = 0
    while i < 3:
        try:
            html = requests.get(url, timeout=timeout)
            return html.text
        except requests.exceptions.RequestException as e:
            i += 1
            print(e)
 
 
res = get_html('https://github.com', timeout=0.1)
print(res)

运行结果：

示例代码2：【试图提大timeout的值】

import requests
 
 
def get_html(url, timeout=5):
    i = 0
    while i < 3:
        try:
            html = requests.get(url, timeout=timeout)
            return html.text
        except requests.exceptions.RequestException as e:
            i += 1
            print(e)
 
 
res = get_html('https://github.com', timeout=10)
print(res)

运行结果：

到此这篇关于Python requests请求超时的解决方案的文章就介绍到这了,更多相关Python requests请求超时内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

pandas 中对特征进行硬编码和onehot编码的实现
今天小编就为大家分享一篇pandas 中对特征进行硬编码和onehot编码的实现，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-12-12
Python循环结构详解
这篇文章主要介绍了Python循环结构详解,文中有非常详细的代码示例,对正在学习python的小伙伴们有很好的帮助,需要的朋友可以参考下
2021-05-05
python操作字典类型的常用方法(推荐)
下面小编就为大家带来一篇python操作字典类型的常用方法(推荐)。小编觉得挺不错的，现在分享给大家，也给大家做个参考，一起跟随小编过来看看吧
2016-05-05
python之pygame模块实现飞机大战完整代码
这篇文章主要为大家详细介绍了python之pygame模块实现飞机大战完整代码，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2020-11-11
python闭包的实例详解
在本篇文章里小编给大家整理的是一篇关于python闭包的实例详解内容，有兴趣的朋友们可以学习下。
2021-10-10
解决Python import docx出错DLL load failed的问题
今天小编就为大家分享一篇解决Python import docx出错DLL load failed的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-02-02
python语言是免费还是收费的？
在本篇文章里小编给大家分享的是关于python语言是否免费的相关知识点，需要的朋友们可以学习下。
2020-06-06
python多进程控制学习小结
这篇文章主要介绍了python多进程控制学习小结，想要充分利用多核CPU资源，Python中大部分情况下都需要使用多进程，Python中提供了multiprocessing这个包实现多进程。感兴趣的小伙伴们可以参考一下
2018-10-10
Python使用chardet判断字符编码
这篇文章主要介绍了Python使用chardet判断字符编码的方法,较为详细的分析了Python中chardet的功能、安装及使用技巧,需要的朋友可以参考下
2015-05-05
python判断一个集合是否包含了另外一个集合中所有项的方法
这篇文章主要介绍了python判断一个集合是否包含了另外一个集合中所有项的方法,涉及Python集合操作的相关技巧,需要的朋友可以参考下
2015-06-06