Python爬虫通过替换http request header来欺骗浏览器实现登录功能
更新时间：2018年01月07日 15:33:51 作者：huahuayu
这篇文章主要介绍了Python爬虫通过替换http request header来欺骗浏览器实现登录功能,需要的朋友可以参考下
以豆瓣为例，访问https://www.douban.com/contacts/list 来查看自己关注的人，要登录才能查看。
如果用requests.get()方法获取这个http，没登录只能抓取回一个登录界面，所以我们要用Python登录网站才能抓取想要的网页。
一个简便的方法就是自己在浏览器上登录好，然后通过下图方法（Chrome为例），找到自己的Cookie和User-Agent，然后发送request时用这复制来的header替换掉待发送的request以达到登录的目的，server端会凭这个认为你是已经登录的用户。
代码如下：
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36',
'Cookie':'gr_user_id=1f9ea7ea-462a-4a6f-9d55-156631fc6d45; bid=vPYpmmD30-k; ll="118282"; ue="codin; __utmz=30149280.1499577720.27.14.utmcsr=douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/doulist/240962/; __utmv=30149280.3049; _vwo_uuid_v2=F04099A9dd; viewed="27607246_26356432"; ap=1; ps=y; push_noty_num=0; push_doumail_num=0; dbcl2="30496987:gZxPfTZW4y0"; ck=13ey; _pk_ref.100001.8cb4=%5B%22%22%2C%22%22%2C1515153574%2C%22https%3A%2F%2Fbook.douban.com%2Fmine%22%5D; __utma=30149280.833870293.1473539740.1514800523.1515153574.50; __utmc=30149280; _pk_id.100001.8cb4=255d8377ad92c57e.1473520329.20.1515153606.1514628010.'
} #替换成自己的cookie
r = requests.get('https://www.douban.com/contacts/list', headers = headers)
print(r.text)
总结
以上所述是小编个大家介绍的Python爬虫通过替换http request header来欺骗浏览器实现登录 ，希望对大家有所帮助，如果大家有任何疑问欢迎给我留言，小编会及时回复大家的！
相关文章
这篇文章主要介绍了keras实现VGG16 CIFAR10数据集方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-07-07
这篇文章主要介绍了Python的函数使用,在两种python循环语句的使用中，不仅仅是循环条件达到才能跳出循环体。所以，在对python函数进行阐述之前，先对跳出循环的简单语句块进行介绍,需要的朋友可以参考一下2021-12-12
Python ORM框架SQLAlchemy学习笔记之数据查询实例
这篇文章主要介绍了Python ORM框架SQLAlchemy学习笔记之数据查询实例,需要的朋友可以参考下2014-06-06
这篇文章主要介绍了python爬虫基础之简易网页搜集器,文中有非常详细的代码示例,对正在学习python爬虫的小伙伴们有非常好的帮助,需要的朋友可以参考下2021-04-04
这篇文章主要介绍了Python的串口通信的相关资料，帮助大家更好的理解和学习python，感兴趣的朋友可以了解下2020-09-09
这篇文章主要为大家详细介绍了python实现停车管理系统，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-11-11
这篇文章主要介绍了Python中利用ItsDangerous快捷实现数据加密,通过使用Python库ItsDangerous，我们就可以高效快捷地完成数据加密/解密的过程，本文结合实例代码给大家讲解的非常详细，需要的朋友可以参考下2022-11-11
这篇文章主要介绍了Python使用PIL库实现验证码图片的方法,结合实例形式较为详细的分析了Python基于PIL库生成验证码图片的相关技巧与注意事项,需要的朋友可以参考下2016-03-03
这篇文章主要介绍了python结合API实现即时天气信息的代码，非常的实用，有需要的小伙伴可以参考下。2016-01-01
这篇文章主要介绍了Django框架models使用group by详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-03-03
最新评论