Python urllib库如何添加headers过程解析

 更新时间:2020年10月05日 10:37:00   作者:lincappu  
这篇文章主要介绍了Python urllib库如何添加headers过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

对于请求一些网站,我们需要加上请求头才可以完成网页的抓取,不然会得到一些错误,无法返回抓取的网页。下面,介绍两种添加请求头的方法。

方法一:借助build_opener和addheaders完成

import urllib.request
url="http://www.meizitu.com"
#注意:在urllib 中headers是元组
headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE")

opener=urllib.request.build_opener()
opener.addheaders=[headers]
data=opener.open(url)
print(data.read())

注意:此处的headers要写为一个元组类型才可以。写为字典类型的话会报错!

方法二、创建一个Request实例对象

# 案例1
import urllib.request
url="http://www.meizitu.com"
#注意:在urllib 中这种的headers 是需要是字典的
headers={"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE"}
req=urllib.request.Request(url=url,headers=headers)
file=urllib.request.urlopen(req)

#出现有些解码错误的话,加上“ignore”就可以啦
print(file.read().decode("utf-8",'ignore'))

注意:此处的headers要写为一个字典类型才可以。

创建一个Reques对象,把需要的headers,url,proxy 都放进去,或者在post 请求中还可以把编码过后的data 值放进去,再用urlopen 打开,就比较方便了。

另外,这种方法还可以用add_headers()来添加headers,代码如下:

import urllib.request
try:
  url="http://www.meizitu.com"
  req=urllib.request.Request(url=url)

  req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE")
  file=urllib.request.urlopen(req,timeout=10.1)

  print(file.read().decode("utf-8",'ignore'))
except Exception as e:
  print("时间超时",str(e))

总结:通过以上两种方法,可以完成请求头的相关参数设置,但是得注意headers是用字典类型来传入还是元组类型。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • Python实现多张图片合成一张马赛克图片

    Python实现多张图片合成一张马赛克图片

    这篇文章主要介绍了了Python如何实现将多张图片合成一张马赛克图片。文中的示例代码讲解详细,对我们学习Python有一定的帮助,感兴趣的可以学习一下
    2021-12-12
  • Python xlwt工具使用详解,生成excel栏位宽度可自适应内容长度

    Python xlwt工具使用详解,生成excel栏位宽度可自适应内容长度

    这篇文章主要介绍了Python xlwt工具使用详解,生成excel栏位宽度可自适应内容长度,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-02-02
  • Python中的__slots__示例详解

    Python中的__slots__示例详解

    在python新式类中,可以定义一个变量__slots__,它的作用是阻止在实例化类时为实例分配dict,下面这篇文章主要给大家介绍了关于Python中__slots__的相关资料,需要的朋友可以参考借鉴,下面来一起看看吧。
    2017-07-07
  • python使用imap-tools模块下载邮件附件的示例

    python使用imap-tools模块下载邮件附件的示例

    imap-tools模块是python的第三方扩展, 它使用标准库imaplib,并将常见的邮件处理事件封装,邮件处理起来代码短,下面给大家介绍下python使用imap-tools模块下载邮件中的附件示例代码,感兴趣的朋友一起看看吧
    2021-12-12
  • PyTorch实现更新部分网络,其他不更新

    PyTorch实现更新部分网络,其他不更新

    今天小编就为大家分享一篇PyTorch实现更新部分网络,其他不更新,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-12-12
  • 对python中for、if、while的区别与比较方法

    对python中for、if、while的区别与比较方法

    今天小编就为大家分享一篇对python中for 、if、 while的区别与比较方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-06-06
  • 20个Python random模块常用函数的应用与代码示例

    20个Python random模块常用函数的应用与代码示例

    随机数在计算机科学和数据科学领域中扮演着重要角色,Python的标准库中提供了random模块,用于生成各种随机数,本文将深入探讨random模块的各种函数,以及它们的应用场景和代码示例,需要的可以参考下
    2024-03-03
  • 使用Python-pptx 告别繁琐的幻灯片制作

    使用Python-pptx 告别繁琐的幻灯片制作

    这篇文章主要介绍了使用Python-pptx 告别繁琐的幻灯片制作,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-05-05
  • python查询sqlite数据表的方法

    python查询sqlite数据表的方法

    这篇文章主要介绍了python查询sqlite数据表的方法,涉及Python操作SQLite数据库的基本技巧,需要的朋友可以参考下
    2015-05-05
  • Python学习笔记之Zip和Enumerate用法实例分析

    Python学习笔记之Zip和Enumerate用法实例分析

    这篇文章主要介绍了Python学习笔记之Zip和Enumerate用法,结合实例形式分析了Zip和Enumerate的功能、用法及相关操作注意事项,需要的朋友可以参考下
    2019-08-08

最新评论