python爬虫模拟浏览器访问-User-Agent过程解析
更新时间：2019年12月28日 10:08:30 作者：故事的小黄花丶
这篇文章主要介绍了python爬虫模拟浏览器访问-User-Agent过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
这篇文章主要介绍了python爬虫模拟浏览器访问-User-Agent过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
模拟浏览器访问-User-Agent：
import urllib2
#User-Agent 模拟浏览器访问
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}
#通过urllib2.Request()方法构造一个请求对象
request = urllib2.Request("http://www.baidu.com/",headers = headers)
#向指定的URL地址发送请求，并返回服务器响应的类文件对象
#response是服务器响应的类文件，除了支持文件操作的方法外，还支持以下常用的方法：
response = urllib2.urlopen(request)
#服务器返回的类文件对象支持python文件对象的操作方法
#read()方法就是读取文件里的全部内容，返回字符串
html = response.read()
#返回HTTP的响应码，成功返回200,4服务器页面出错；5.服务器问题
print response.getcode()
#返回实际数据的实际URL，防止重定向问题
print response.geturl()
#返回服务器响应的HTTP报头
print response.info()
#打印响应内容
print(html)
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
Pygame是跨平台Pyth，Pygame 作者是 Pete Shinners， 协议为 GNU Lesser General Public License。这篇文章主要介绍了Python的pygame安装教程,需要的朋友可以参考下2020-02-02
这篇文章主要介绍了python里使用正则的findall函数的实例详解的相关资料,希望通过本文能帮助到大家，需要的朋友可以参考下2017-10-10
在Python中切片(slice)是对序列型对象(如list, string, tuple)的一种高级索引方法,下面这篇文章主要给大家介绍了关于Python中切片操作的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-08-08
这篇文章主要介绍了Django contenttypes 框架详解(小结)，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-08-08
这篇文章主要介绍了python如何利用中心坐标绘制矩形问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-08-08
今天小编就为大家分享一篇用OpenCV将视频分解成单帧图片,图片合成视频示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
这篇文章主要为大家详细介绍了Python使用tkinter实现小时钟效果，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-02-02
起床真是令人困扰的事情，有的人根本不用定闹钟，但有的人提前半个小时闹钟都叫不醒。本文将分享利用Python编写的闹钟脚本，希望能治好你的拖延症2022-02-02
这篇文章主要介绍了Python 限制输出日志的大小方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
这篇文章主要介绍了在PyCharm中安装PaddlePaddle的方法,本文给大家介绍的非常想详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-02-02
最新评论