Python反爬虫伪装浏览器进行爬虫
对于爬虫中部分网站设置了请求次数过多后会封杀ip,现在模拟浏览器进行爬虫,也就是说让服务器认识到访问他的是真正的浏览器而不是机器操作
简单的直接添加请求头,将浏览器的信息在请求数据时传入:
打开浏览器--打开开发者模式--请求任意网站
如下图:找到请求的的名字,打开后查看headers栏,找到User-Agent,复制。然后添加到请求头中
代码如下:
import requests url = 'https://www.baidu.com' headers ={ 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/65.0.3325.181 Safari/537.36' } rq = requests.get(url=url, headers=headers) print(rq.text)
更深的伪装浏览器,添加多个浏览器信息,每次请求的时候随机发送浏览器信息,让服务器了解不是一个浏览器一直在访问,(可以百度查找user-agent)
代码如下:
import requests import random url = 'https://www.baidu.com' headers_lists =( 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/65.0.3325.181 Safari/537.36', 'Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;Maxthon2.0', 'Opera/9.80(Android2.3.4;Linux;Operamobi/adr-1107051709;U;zh-cn)Presto/2.8.149Version/11.10', 'Mozilla/5.0(WindowsNT6.1;rv:2.0.1)Gecko/20100101Firefox/4.0.1', 'Mozilla/5.0(Android;Linuxarmv7l;rv:5.0)Gecko/Firefox/5.0fennec/5.0',) rq = requests.get(url=url,headers={'User-Agent':random.choice(headers_lists)}) print(rq.text)
完整的请求体解释:
以下是笔者访问百度的请求体。
Accept:浏览器端可以接受的媒体类型
Accept-Encoding:浏览器申明自己接收的编码方法
Accept-Language:浏览器申明自己接收的语言
Connection:keep-alive 客户端和服务器之间还在连接中,如果关闭就是close
Host:请求报头域主要用于指定被请求资源的Internet主机和端口号
User-Agent:使用的操作系统和浏览器的名称和版本
Cookie:是用来存储一些用户信息以便让服务器辨别用户身份的
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。
- python爬虫爬取淘宝商品比价(附淘宝反爬虫机制解决小办法)
- 用sleep间隔进行python反爬虫的实例讲解
- python中绕过反爬虫的方法总结
- cookies应对python反爬虫知识点详解
- python反爬虫方法的优缺点分析
- python 常见的反爬虫策略
- Python爬虫与反爬虫大战
- Python常见反爬虫机制解决方案
- 详解python 破解网站反爬虫的两种简单方法
- python爬虫 urllib模块反爬虫机制UA详解
- 用python3 urllib破解有道翻译反爬虫机制详解
- Python反爬虫技术之防止IP地址被封杀的讲解
- Python3爬虫学习之应对网站反爬虫机制的方法分析
- python通过伪装头部数据抵抗反爬虫的实例
- python网络爬虫之如何伪装逃过反爬虫程序的方法
- python解决网站的反爬虫策略总结
- Requests什么的通通爬不了的Python超强反爬虫方案!
相关文章
matplotlib之Font family [‘sans-serif‘] not&nbs
本文主要介绍了matplotlib之Font family [‘sans-serif‘] not found的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2023-03-03教你Pycharm安装使用requests第三方库的详细教程
PyCharm安装第三方库是十分方便的,无需pip或其他工具,平台就自带了这个功能而且操作十分简便,今天通过本文带领大家学习Pycharm安装使用requests第三方库的详细教程,感兴趣的朋友一起看看吧2021-07-07
最新评论