python爬虫模拟浏览器访问-User-Agent过程解析
更新时间：2019年12月28日 10:08:30 作者：故事的小黄花丶
这篇文章主要介绍了python爬虫模拟浏览器访问-User-Agent过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
这篇文章主要介绍了python爬虫模拟浏览器访问-User-Agent过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
模拟浏览器访问-User-Agent：
import urllib2
#User-Agent 模拟浏览器访问
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}
#通过urllib2.Request()方法构造一个请求对象
request = urllib2.Request("http://www.baidu.com/",headers = headers)
#向指定的URL地址发送请求，并返回服务器响应的类文件对象
#response是服务器响应的类文件，除了支持文件操作的方法外，还支持以下常用的方法：
response = urllib2.urlopen(request)
#服务器返回的类文件对象支持python文件对象的操作方法
#read()方法就是读取文件里的全部内容，返回字符串
html = response.read()
#返回HTTP的响应码，成功返回200,4服务器页面出错；5.服务器问题
print response.getcode()
#返回实际数据的实际URL，防止重定向问题
print response.geturl()
#返回服务器响应的HTTP报头
print response.info()
#打印响应内容
print(html)
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
今天小编就为大家分享一篇使用python绘制二维图形示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-11-11
有时候自己写了一个py文件,想要把它导入到另一个py文件里面,所以下面这篇文章主要给大家介绍了关于Python如何导入自己编写的py文件的相关资料,需要的朋友可以参考下2021-11-11
这篇文章主要分享了用python实现的一个通讯录实例，学习python的朋友可以参考下2013-11-11
这篇文章主要介绍了Python寻找两个有序数组的中位数,本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下2018-12-12
这篇文章主要介绍了Python使用ElementTree美化XML格式的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-03-03
Python matplotlib画图时图例说明(legend)放到图像外侧详解
这篇文章主要介绍了Python matplotlib画图时图例说明(legend)放到图像外侧详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
在Python中,__repr__是一个特殊的内置类属性,用于定义类的字符串表示形式,本文将深入探讨__repr__的作用、用法以及一些实际应用场景,希望对大家有所帮助2023-12-12
这篇文章主要介绍了Python的内存泄漏及gc模块的使用分析,有助于读者进一步了解Python的内存分配及回收机制,增强代码编写的安全意识,需要的朋友可以参考下2014-07-07
这篇文章主要给大家介绍了关于python文件夹分区的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-04-04
这篇文章是一篇关于python基础知识内容，主要讲述了关于类的相关知识点，有兴趣的朋友参考下。2018-06-06
最新评论