脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python headers请求头

Python headers请求头如何实现快速添加

 更新时间：2020年11月03日 08:23:08   作者：15号计划  
这篇文章主要介绍了Python headers请求头如何实现快速添加,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

1、为什么要设置headers?

在请求网页爬取的时候，输出的text信息中会出现抱歉，无法访问等字眼，这就是禁止爬取，需要通过反爬机制去解决这个问题。

headers是解决requests请求反爬的方法之一，相当于我们进去这个网页的服务器本身，假装自己本身在爬取数据。

对反爬虫网页，可以设置一些headers信息，模拟成浏览器取访问网站 。

2、 headers在哪里找？

谷歌或者火狐浏览器，在网页面上点击：右键–>检查–>剩余按照图中显示操作，需要按Fn+F5刷新出网页来

有的浏览器是点击：右键->查看元素，刷新

Python爬虫中Requests设置请求头Headers的方法

注意：headers中有很多内容，主要常用的就是user-agent 和 host，他们是以键对的形式展现出来，如果user-agent 以字典键对形式作为headers的内容，就可以反爬成功，就不需要其他键对；否则，需要加入headers下的更多键对形式。

代码如下

import re
# 下方引号内添加替换掉请求头内容
headers_str = """
Accept: application/json, text/javascript, */*; q=0.01
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8
Cache-Control: no-cache
Connection: keep-alive
Content-Length: 77
Content-Type: application/json
User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1
X-Apple-App-Id: 632
X-Apple-Frame-Id: daw-10beaddd-c22f-4fd4-8aba-ef4909a721dd
X-Requested-With: XMLHttpRequest
"""
pattern = '^(.*?):(.*)$'
for line in headers_str.splitlines():
  print(re.sub(pattern,'\'\\1\':\'\\2\',',line).replace(' ',''))

结果

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • 零基础写python爬虫之HTTP异常处理

    零基础写python爬虫之HTTP异常处理

    我们在使用爬虫来抓取网页内容的时候，HTTP异常是必须要注意的一项，所以本文，我们来详细探寻一下HTTP异常处理的相关内容，通过一些具体的实例来分析一下，非常的简单，但是却很实用。
    2014-11-11
  • python代码实现AVL树和红黑树

    python代码实现AVL树和红黑树

    专注于Python数据结构,想要深入了解AVL树和红黑树的读者们,你们的机会来了！在这篇指南中,我们将带你探索这两种神奇树结构的奥秘,紧张刺激的实战代码演示,让你一窥这两种树的独特魅力,准备好了吗？让我们一起踏上这场Python树结构之旅！
    2023-12-12
  • Python中实现WebSocket的示例详解

    Python中实现WebSocket的示例详解

    WebSocket 是一种计算机通信协议,它为客户端和服务器之间的双向通信提供了一个全双工的通道,本篇文章将详解 Python 中如何实现 WebSocket,感兴趣的可以了解下
    2025-03-03
  • 计算机二级python学习教程（1） 教大家如何学习python

    计算机二级python学习教程（1） 教大家如何学习python

    这篇文章主要为大家详细介绍了计算机二级python学习教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2019-05-05
  • python文件处理笔记之文本文件

    python文件处理笔记之文本文件

    相信大家在测试任务过程中都或多或少遇到自己处理文本文件的情况,这篇文章主要给大家介绍了关于python文件处理笔记之文本文件的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下
    2021-08-08
  • Python3和pyqt5实现控件数据动态显示方式

    Python3和pyqt5实现控件数据动态显示方式

    今天小编就为大家分享一篇Python3和pyqt5实现控件数据动态显示方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-12-12
  • Python使用docx模块实现刷题功能代码

    Python使用docx模块实现刷题功能代码

    今天小编就为大家分享一篇Python使用docx模块实现刷题功能代码，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-02-02
  • 使用Python构建Markdown转Word文档转换器

    使用Python构建Markdown转Word文档转换器

    在当今的文档处理中,Markdown因其简洁的语法和易读性而广受欢迎,而Microsoft Word（DOCX格式）则因其广泛的兼容性和专业的排版效果成为商业文档的标准,本文将介绍如何使用Python构建一个带有图形界面的Markdown转Word文档转换器,需要的朋友可以参考下
    2025-02-02
  • Python 多线程之threading 模块的使用

    Python 多线程之threading 模块的使用

    这篇文章主要介绍了Python 多线程之threading 模块的使用，帮助大家更好的理解和学习使用python，感兴趣的朋友可以了解下
    2021-04-04
  • Python使用Matplotlib绘制散点趋势线的代码详解

    Python使用Matplotlib绘制散点趋势线的代码详解

    Matplotlib是一个用于数据可视化的强大Python库,其基本功能之一是创建带有趋势线的散点图,散点图对于可视化变量之间的关系非常有用,本文将指导您使用Matplotlib绘制散点趋势线的过程,涵盖线性和多项式趋势线,需要的朋友可以参考下
    2025-01-01

最新评论