Python爬虫:将headers请求头字符串转为字典的方法

 更新时间:2019年08月21日 16:22:16   作者:彭世瑜  
今天小编就为大家分享一篇Python爬虫:将headers请求头字符串转为字典的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

原生请求头字符串

raw_headers = """Host: open.tool.hexun.com
Pragma: no-cache
Cache-Control: no-cache
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36
Accept: */*
Referer: http://stock.hexun.com/gsxw/
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8"""

将字符串转为字典

split(sep=None, maxsplit=None)

headers = dict([line.split(": ",1) for line in raw_headers.split("\n")])

输出测试

print(headers)
"""
{
  'Accept-Language': ' zh-CN,zh;q=0.9,en;q=0.8', 
  'Accept-Encoding': ' gzip, deflate', 
  'Accept': ' */*', 
  'User-Agent': ' Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36', 
  'Host': ' open.tool.hexun.com', 
  'Referer': ' http://stock.hexun.com/gsxw/', 
  'Pragma': ' no-cache', 
  'Cache-Control': ' no-cache'
}

"""

封装为函数

def get_headers(header_raw):
  """
  通过原生请求头获取请求头字典
  :param header_raw: {str} 浏览器请求头
  :return: {dict} headers
  """
  return dict(line.split(": ", 1) for line in header_raw.split("\n"))


def get_cookies(cookie_raw):
  """
  通过原生cookie获取cookie字段
  :param cookie_raw: {str} 浏览器原始cookie
  :return: {dict} cookies
  """
  return dict(line.split("=", 1) for line in cookie_raw.split("; "))

以上这篇Python爬虫:将headers请求头字符串转为字典的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python在日志中隐藏明文密码的方法

    Python在日志中隐藏明文密码的方法

    logging日志模块是python的一个内置模块,该模块定义了一些函数和类,为上层应用程序或库实现了一个强大而又灵活的日志记录系统,这篇文章主要介绍了Python如何在日志中隐藏明文密码 ,需要的朋友可以参考下
    2023-10-10
  • Python实现微信自动回复信息的功能(根据不同信息回复对应的信息)

    Python实现微信自动回复信息的功能(根据不同信息回复对应的信息)

    这篇文章主要介绍了Python实现微信自动回复信息的功能(根据不同信息回复对应的信息),我们使用的第三方包是UIAutomation,结合示例代码给大家介绍的非常详细,需要的朋友可以参考下
    2023-09-09
  • pygame游戏之旅 创建游戏窗口界面

    pygame游戏之旅 创建游戏窗口界面

    这篇文章主要为大家详细介绍了pygame游戏之旅,教大家如何创建游戏窗口界面,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-11-11
  • Python 实现的 Google 批量翻译功能

    Python 实现的 Google 批量翻译功能

    这篇文章主要介绍了Python 实现的 Google 批量翻译功能,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-08-08
  • 深入理解NumPy简明教程---数组1

    深入理解NumPy简明教程---数组1

    这篇文章主要介绍了深入理解NumPy简明教程(二、数组1),NumPy数组是一个多维数组对象,具有一定的参考价值,感兴趣的小伙伴们可以参考一下。
    2016-12-12
  • 详细介绍Python进度条tqdm的使用

    详细介绍Python进度条tqdm的使用

    这篇文章主要介绍了详细介绍Python进度条tqdm的使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-07-07
  • python+tkinter+mysql做简单数据库查询界面

    python+tkinter+mysql做简单数据库查询界面

    本文主要介绍了python+tkinter+mysql做简单数据库查询界面,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-01-01
  • Python3.4学习笔记之列表、数组操作示例

    Python3.4学习笔记之列表、数组操作示例

    这篇文章主要介绍了Python3.4列表、数组操作,结合实例形式分析了Python3.4列表的创建、元素追加、删除、排序等相关操作技巧,需要的朋友可以参考下
    2019-03-03
  • Python tkinter库图形绘制例子分享

    Python tkinter库图形绘制例子分享

    这篇文章主要介绍了 Python tkinter库图形绘制例子,文章基于Python的相关资料展开主题,分享绘图小例子,需要的小伙伴可以参考一下
    2022-04-04
  • Python实现批量获取文件夹内文件名并重命名

    Python实现批量获取文件夹内文件名并重命名

    这篇文章主要为大家详细介绍了Python如何批量获取文件夹内文件名及重命名文件,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
    2025-02-02

最新评论