python实现三种随机请求头方式

更新时间：2021年01月05日 10:01:09 作者：沙漏在下雨

这篇文章主要介绍了python实现三种随机请求头方式，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

相信大家在爬虫中都设置过请求头 user-agent 这个参数吧？在请求的时候，加入这个参数，就可以一定程度的伪装成浏览器，就不会被服务器直接识别为spider.demo.code ，据我了解的，我很多读者每次都是直接从network 中去复制 user-agent 然后把他粘贴到代码中，这样获取的user-agent 没有错，可以用，但是如果网站反爬措施强一点，用固定的请求头可能就有点问题，所以我们就需要设置一个随机请求头，在这里，我分享一下我自己一般用的三种设置随机请求头方式

思路介绍:

其实要达到随机的效果，很大程度上我们可以利用随机函数库random 这个来实现，可以调用random.choice([user-agent]) 随机pick数组中一个就可以了，这是我的一种方式。

python作为一个拥有众多第三方包的语言，自然就有可以生成随机请求头的包咯，没错，就是fake-useragent 这个第三方库了，稍后我们介绍一下这个函数库的简单使用。

既然别人可以写第三方库，自然自己也可以实现一个这样的功能，大部分情况下，我很多代码都是直接调用我自己实现的一个GetUserAgentCS 类，直接就可以获取一个随机请求头了，直接写函数库，才牛逼舒服，这个我也会在下面介绍如何编写函数库。

自己编写第三方库：

不知道你们写代码的框架是怎样的，面向过程还是面向对象？对于一次性的代码，就简单的编码就行了，如果你觉得这个代码它可以会在很多的地方用得到，可以重复使用，那么你就可以使用类的方式，去编写这个代码，那么在其他的文件中，你就可以直接调用你的写这个文件，直接调用你写的class类中的各种方法，而我也是这样实现的一个随机请求头的一个第三方库，如下：

import random
import csv
class GetUserAgentCS(object):
  """
  调用本地请求头文件， 返回请求头
  """

  def __init__(self):
    with open('D://pyth//scrapy 项目//setting//useragent.csv', 'r') as fr:
      fr_csv = csv.reader(fr)
      self.user_agent = [str(i[1]) for i in fr_csv]

  def get_user(self):
    return random.choice(self.user_agent)

useragent文件如下：

1,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36"
2,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.17 Safari/537.36"
3,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (X11; NetBSD) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36"
4,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (X11; CrOS i686 3912.101.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36"
5,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36"
-------
------- # too much 
100...

代码很简单的，读取本地的csv文件，然后random一个出去就行了，那现在就有人问我，你这个文件怎么来的, 很简单啊，自然就有方法了，待会在下一个模块我会讲到，在这里，我们只需要编写一个GetUserAgentCS类就可以，代码可以直接抄我上面的，然后保存为get_useragent.py 就可以了，然后你把这个包文件放在你自己爬虫文件夹的地方，然后这样调用:

from get_useragent import GetUserAgentCS
headers = {}
ua = GetUserAgentCS().get_user()
headers['user-agent'] = ua
return headers

如果你在这个调用GetUserAgentCS 不成功，或者底下会出现红色的波浪线，那么就是你没有设置当前工作环境，你只需要这么设置（设置你的爬虫文件夹）：

在这里插入图片描述

你需要点击 Sources Root 就可以了！

使用第三方库 fake-useragent：

这是一个别人已经写好的第三方库，你需要安装然后调用API 就可以了，它可以获取各种的请求头，唯一的缺点就是请求不稳定，有的时候网络波动就可能导致获取不成功，用于Scrapy中，不是很舒服，所以我在这个包的基础上，编写了如上我自己的包，至于请求头的数据怎么来的，就是在这个包运行正常时候，一直更改user-agent，然后不断的请求 http://httpbin.org/user-agent 然后不断的保存数据，写入本地文件就可以了。

我们还是讲一讲这个包的使用方式吧！

安装

pip install fake-useragent

你可以 pip list 查看一下是否安装成功

使用方式

from fake_useragent import UserAgent
headers= {'User-Agent':str(UserAgent().random)}
r = requests.get(url, headers=headers)

UserAgent().random 可以获取任意浏览器的请求头
UserAgent().Chrome 可以获取谷歌浏览器的请求头
UserAgent().firefox 可以获取火狐浏览器的请求头

这个时候，直接用random就可以了，简单。

读取内存数组：

这个时候就有很多人说，我就换个请求头而已，需要这么麻烦吗? 当然，自然有简单的方式，只不过每次都需要复制来用，不是很方法，具体如下：

ua = ["Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36"
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.17 Safari/537.36"
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (X11; NetBSD) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36"]

预先把请求头放入数组里面，然后用就可以了。

import random
ua = [.....]
r = requests.get(url, headers={"user-agent":random.choice(ua)})

以上就是我关于请求头的几种设置方式了，有需要补充的可以评论区留言。

教你用三种方式设置随机请求头，爬虫设置请求头(user-agent)是必然的，那如何生成一个随机请求头这个也是我们爬虫必须掌握的，读完本篇文章你就可以轻松掌握 !

到此这篇关于python实现三种随机请求头方式的文章就介绍到这了,更多相关python 随机请求头内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

python执行get提交的方法
这篇文章主要介绍了python执行get提交的方法,实例分析了Python通过get传递数据的技巧,具有一定参考借鉴价值,需要的朋友可以参考下
2015-04-04
python遍历路径破解表单的示例
这篇文章主要介绍了python遍历路径破解表单的示例，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下
2020-11-11
Pyhhon之Pygame的Font文本和字体
这篇文章主要介绍了Pygame的Font文本和字体，Pygame 通过pygame.font模块来创建一个字体对象，从而实现绘制文本的目的。想进一步了解的同学可以参考阅读本文
2023-04-04
Python划分数组为连续数字集合的练习
这篇文章主要给大家分享的是Python划分数组为连续数字集合的练习，下面文章首先对问题进行详细描述，在根据问题提出解决方案，内容详细,需要的朋友可以参考一下，希望对你有所帮助
2021-11-11
python公司内项目对接钉钉审批流程的实现
最近把组内的一个项目对接钉钉审批接口，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2021-08-08
Python 实现多表和工作簿合并及一表按列拆分
这篇文章主要介绍了Python 实现多表和工作簿合并及一表按列拆分，文章围绕主题展开详细的资料介绍，具有一定的参考价值，需要的小伙伴可以参考一下
2022-05-05
2020最新pycharm汉化安装（python工程狮亲测有效）
这篇文章主要介绍了2020最新pycharm汉化安装（python工程狮亲测有效）,文中通过图文介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-04-04
利用python制作拼图小游戏的全过程
这篇文章主要给大家介绍了关于利用python制作拼图小游戏的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-12-12
Python爬虫基础之selenium库的用法总结
今天带大家来学习selenium库的使用方法及相关知识总结,文中非常详细的介绍了selenium库,对正在学习python的小伙伴很有帮助,需要的朋友可以参考下
2021-05-05
Python 的内置字符串方法小结
本文主要给大家介绍了下Python的一些内置字符串的方法，包括概览，字符串大小写转换，字符串格式输出，字符串搜索定位与替换，字符串的联合与分割，字符串条件判断，字符串编码
2016-03-03