python爬虫快速响应服务器的做法
更新时间：2020年11月24日 14:48:28 作者：小妮浅浅
在本篇文章里小编给大家整理的是一篇关于python爬虫快速响应服务器的做法，需要的朋友们可以参考下。
不论是打开网页或者爬取一些资料的时候，我们想要的是计算机能在最短的时间内运行出结果，不然等待的时间过长会影响下一步工作的计划。这时候我们可以给计算机一个指令，限制最久能等待的时间，在我们能接受的时间内运行出结果。那么这个指令方法是什么呢？接下来我们一起看看吧。
requests之所以称为“HTTP for human”，因为其封装层次很高，其中一处体现就在：requests会自动处理服务器响应的重定向。我在做搜狗微信公众号抓取的时候，搜狗搜索列表页面的公众号文章地址，其实不是微信的地址而需要请求到搜狗到服务器做重定向，而requests的默认处理则是将整个过程全部搞定，对此可以这样：
In [1]: r = requests.get('http://xlzd.me', allow_redirects=False)
allow_redirects参数为False则表示不会主动重定向。
另外，有时候对方网站的响应时间太长了，我们希望在指定时间内完事，或者直接停止这个请求，这时候的做法是：
In [1]: r = requests.get('http://xlzd.me', timeout＝3)
timeout表示这次请求最长我最长只等待多少秒
拓展：
为requests套上一层代理的做法也非常简单：
import requests
proxies = {
"http": "http://192.168.31.1:3128",
"https": "http://10.10.1.10:1080",
}
requests.get("http://xlzd.me", proxies=proxies)
到此这篇关于python爬虫快速响应服务器的做法的文章就介绍到这了,更多相关python爬虫中如何快速响应服务器内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了详解Python 装饰器执行顺序迷思，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-08-08
这篇文章主要介绍了Python中的分支和循环结构，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下2020-02-02
pytest解读fixture有效性及跨文件共享fixtures
这篇文章主要为大家介绍了pytest官方文档fixture有效性及跨文件共享fixtures的解读，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-06-06
pyecharts是支持python的一种可视化，那么在Django中Pyecharts如何生成图表，主要有两种方法，需要的朋友们下面随着小编来一起学习学习吧2021-05-05
这篇文章主要为大家介绍了Python自然语言处理使用spaCy库进行文本预处理，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-05-05
PyQt5 是Digia的一套Qt5应用框架与python的结合，同时支持2.x和3.x。这篇文章给大家整理了关于Python PyQt5的相关知识，感兴趣的朋友一起看看吧2020-04-04
这篇文章主要介绍了如何通过Python制作一个简易的音乐播放器，文中的示例代码讲解详细，对我们学习或工作有一定价值，需要的可以参考一下2022-02-02
urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件。他以urlopen函数的形式提供了一个非常简单的接口，下面我们用实例讲解他的使用方法2014-11-11
这篇文章主要为大家详细介绍了OpenCV+face++实现实时人脸识别解锁功能，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-08-08
今天小编就为大家分享一篇python 删除字符串中连续多个空格并保留一个的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
最新评论