Python反爬虫伪装浏览器进行爬虫

更新时间：2020年02月28日 13:25:32 作者：Tynam.Yang

这篇文章主要介绍了Python反爬虫伪装浏览器进行爬虫,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

对于爬虫中部分网站设置了请求次数过多后会封杀ip，现在模拟浏览器进行爬虫，也就是说让服务器认识到访问他的是真正的浏览器而不是机器操作

简单的直接添加请求头，将浏览器的信息在请求数据时传入：

打开浏览器--打开开发者模式--请求任意网站

如下图：找到请求的的名字，打开后查看headers栏，找到User-Agent，复制。然后添加到请求头中

代码如下：

import requests
url = 'https://www.baidu.com'
headers ={
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) '
           'Chrome/65.0.3325.181 Safari/537.36'
    }
rq = requests.get(url=url, headers=headers)
print(rq.text)

更深的伪装浏览器，添加多个浏览器信息，每次请求的时候随机发送浏览器信息，让服务器了解不是一个浏览器一直在访问，（可以百度查找user-agent）

代码如下：

import requests
import random

url = 'https://www.baidu.com'
headers_lists =(
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) '
           'Chrome/65.0.3325.181 Safari/537.36',
    'Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;Maxthon2.0',
    'Opera/9.80(Android2.3.4;Linux;Operamobi/adr-1107051709;U;zh-cn)Presto/2.8.149Version/11.10',
    'Mozilla/5.0(WindowsNT6.1;rv:2.0.1)Gecko/20100101Firefox/4.0.1',
    'Mozilla/5.0(Android;Linuxarmv7l;rv:5.0)Gecko/Firefox/5.0fennec/5.0',)

rq = requests.get(url=url,headers={'User-Agent':random.choice(headers_lists)})
print(rq.text)

完整的请求体解释：

以下是笔者访问百度的请求体。

Accept：浏览器端可以接受的媒体类型

Accept-Encoding：浏览器申明自己接收的编码方法

Accept-Language：浏览器申明自己接收的语言

Connection:keep-alive 客户端和服务器之间还在连接中，如果关闭就是close

Host:请求报头域主要用于指定被请求资源的Internet主机和端口号

User-Agent：使用的操作系统和浏览器的名称和版本

Cookie:是用来存储一些用户信息以便让服务器辨别用户身份的

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

Python爬虫爬取电影票房数据及图表展示操作示例
这篇文章主要介绍了Python爬虫爬取电影票房数据及图表展示操作,结合实例形式分析了Python爬虫爬取、解析电影票房数据并进行图表展示操作相关实现技巧,需要的朋友可以参考下
2020-03-03
使用Python进行大规模数据处理和分析
大规模数据处理和分析旨在从海量数据中提取有用的信息和见解,以支持决策制定和业务发展,Python凭借其丰富的生态系统和强大的库,为处理和分析数据提供了丰富的工具和资源,在本文中,我们将深入探讨如何利用Python进行大规模数据处理和分析,需要的朋友可以参考下
2024-05-05
Python Collections库的高级功能使用示例详解
Python的collections库提供了一系列有用的数据类型,扩展了内建的数据类型,为开发者提供了更多高级功能,本文将深入探讨collections库的一些高级功能,通过详细的示例代码演示,帮助大家更好地理解和应用这些功能
2023-12-12
使用python实现多维数据降维操作
今天小编就为大家分享一篇使用python实现多维数据降维操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-02-02
numpy库与pandas库axis=0，axis= 1轴的用法详解
这篇文章主要介绍了numpy库与pandas库axis=0，axis= 1轴的用法详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-05-05
如何在python 中导入 package
这篇文章主要介绍了如何在python中导入,package,package 在python中是一种有效组织代码，module可以是一个文件，可以通过import来导入一个module 单个文件,而,package,则是作为一个目录来导入,下文操作流程需要的朋友可以参考一下
2022-04-04
Python 文件操作的详解及实例
这篇文章主要介绍了Python 文件操作的详解及实例的相关资料,希望通过本文大家能够理解掌握Python 文件操作的知识，需要的朋友可以参考下
2017-09-09
Python while、for、生成器、列表推导等语句的执行效率测试
这篇文章主要介绍了Python while、for、生成器、列表推导等语句的执行效率测试,本文分别用两段程序测算出了各语句的执行效率,然后总结了什么情况下使用什么语句优先使用的语句等,需要的朋友可以参考下
2015-06-06
深入浅出学习python装饰器
这篇文章主要和大家一起深入浅出的学习python装饰器的相关资料，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2017-09-09
Anaconda下Python中h5py与netCDF4模块下载与安装的教程详解
这篇文章主要为大家详细介绍了基于Anaconda,下载并安装Python中h5py与netCDF4这两个模块的方法,感兴趣的小伙伴可以跟随小编一起学习一下
2024-01-01

Python反爬虫伪装浏览器进行爬虫

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具