python中关于requests里的timeout()用法

关于requests里的timeout()用法

timeout(超时)

首先是：为防止服务器不能及时响应，大部分发至外部服务器的请求都应该带着 timeout 参数。在默认情况下，除非显式指定了 timeout 值，requests 是不会自动进行超时处理的。如果没有 timeout，你的代码可能会挂起若干分钟甚至更长时间

其次是：连接超时指的是在你的客户端实现到远端机器端口的连接时（对应的是 connect() ），Request 会等待的秒数。一个很好的实践方法是把连接超时设为比 3 的倍数略大的一个数值，因为 TCP 数据包重传窗口 (TCP packet retransmission window) 的默认大小是 3。

在爬虫代理这一块我们经常会遇到请求超时的问题，代码就卡在哪里，不报错也没有requests请求的响应。

通常的处理是在requests.get()语句中加入timeout限制请求时间

req = requests.get(url, headers=headers, proxies=proxies, timeout=5)

如果发现设置timeout=5后长时间不响应问题依然存在，可以将timeout里的参数细化

作出如下修改后，问题就消失了

req = requests.get(url, headers=headers, proxies=proxies, timeout=(3,7))

python requests timeout 分析

最近在搞爬虫，很多小组件里面都使用了 Python 的 requests 库，很好用，很强大。

但最近发现很多任务总是莫名其妙的卡住，不报错，但是就是不继续执行。

排查了一圈，最后把问题锁定在 requests 的 timeout 机制上。

注：

本文讨论的是 Python 的第三方模块 requests ，并不是 Python 内建模块 urllib 中的 request 模块，请注意区分。

如何设置超时时间

requests 设置超时时间有两种方式。

一种是设置单一值作为 timeout，如下所示：

r = requests.get('https://github.com', timeout=5)

这时， timeout 值将会用作 connect 和 read 二者的共同的超时时间。

另一种是分别制定连接超时和读取超时的时间，如下所示：

r = requests.get('https://github.com', timeout=(3.05, 27))

这里前面的 3.05 表示连接超时时间， 27 表示读取超时时间。

官方一般推荐大家把连接超时时间设置为比 3 的整数倍稍微大一点的时间，比如 3.05 、 6.05 这样。

坑

上面提到的两种超时时间，连接超时和读取超时，并不是都有默认超时时间。

连接超时的默认时间是 21s ，而读取超时没有默认时间，换句话说，不会超时。

也就是说，如果一个请求，连接成功了，正在读取数据，但是此时服务器出现了什么问题，或者代理出现了什么问题，那么，这个请求就会一直卡住，不会报错，也不会继续。

天长地久。

避坑

所以，为了避免出现这样的情况，给你的 requests 加上超时时间吧，尤其是请求量巨大的时候。

常在河边走，哪有不湿鞋。

参考资料 Requests 官方文档

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

最新评论