python爬虫快速响应服务器的做法
更新时间：2020年11月24日 14:48:28 作者：小妮浅浅
在本篇文章里小编给大家整理的是一篇关于python爬虫快速响应服务器的做法，需要的朋友们可以参考下。
不论是打开网页或者爬取一些资料的时候，我们想要的是计算机能在最短的时间内运行出结果，不然等待的时间过长会影响下一步工作的计划。这时候我们可以给计算机一个指令，限制最久能等待的时间，在我们能接受的时间内运行出结果。那么这个指令方法是什么呢？接下来我们一起看看吧。
requests之所以称为“HTTP for human”，因为其封装层次很高，其中一处体现就在：requests会自动处理服务器响应的重定向。我在做搜狗微信公众号抓取的时候，搜狗搜索列表页面的公众号文章地址，其实不是微信的地址而需要请求到搜狗到服务器做重定向，而requests的默认处理则是将整个过程全部搞定，对此可以这样：
In [1]: r = requests.get('http://xlzd.me', allow_redirects=False)
allow_redirects参数为False则表示不会主动重定向。
另外，有时候对方网站的响应时间太长了，我们希望在指定时间内完事，或者直接停止这个请求，这时候的做法是：
In [1]: r = requests.get('http://xlzd.me', timeout＝3)
timeout表示这次请求最长我最长只等待多少秒
拓展：
为requests套上一层代理的做法也非常简单：
import requests
proxies = {
"http": "http://192.168.31.1:3128",
"https": "http://10.10.1.10:1080",
}
requests.get("http://xlzd.me", proxies=proxies)
到此这篇关于python爬虫快速响应服务器的做法的文章就介绍到这了,更多相关python爬虫中如何快速响应服务器内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
本文通过实例代码给大家介绍了python使用多进程的方法，非常不错，具有一定的参考借鉴价值，需要的朋友参考下吧2018-09-09
重写django的model下的objects模型管理器方式
这篇文章主要介绍了重写django的model下的objects模型管理器方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
Python中大部分情况下都需要使用多进程，Python中提供了multiprocessing这个包实现多进程。multiprocessing支持子进程、进程间的同步与通信，本文就详细的介绍一下2018-10-10
这篇文章主要介绍了解读Opencv中Filter2D函数的补全方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-12-12
pytorch 用于训练，TensorRT用于推理是很多AI应用开发的标配。大家往往更加熟悉 pytorch 的算子，而不太熟悉TensorRT的算子。本文介绍了Pytorch中常用乘法的TensorRT实现，感兴趣的可以了解一下2022-06-06
这篇文章主要介绍了Python中使用SAX解析xml实例,利用SAX解析XML文档牵涉到两个部分:解析器和事件处理器,需要的朋友可以参考下2014-11-11
这篇文章主要介绍了python Plotly绘图工具的简单使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-03-03
分享原创的一段查询港澳通行证办理进度查询的python 3.3代码。利用socket请求相关网站，获得结果后利用正则找出办理进度2013-12-12
这篇文章主要介绍了Python实现基本数据结构中队列的操作方法,结合实例形式演示了Python针对数据结构中队列的初始化、插入、删除、判断队列满及队列空等相关操作技巧,需要的朋友可以参考下2017-12-12
pyinstaller打包python3.6和PyQt5中各种错误的解决方案汇总
pyinstaller是打包python很方便的一个套件,我们可以很轻易地使用他,下面这篇文章主要给大家介绍了关于pyinstaller打包python3.6和PyQt5中各种错误解决的相关资料,需要的朋友可以参考下2022-08-08
最新评论