python爬虫之urllib,伪装,超时设置,异常处理的方法

更新时间：2018年12月19日 15:09:20 作者：红酒味蛋糕_

今天小编就为大家分享一篇python爬虫之urllib,伪装,超时设置,异常处理的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

Urllib

1. Urllib.request.urlopen().read().decode()

返回一个二进制的对象，对这个对象进行read()操作，可以得到一个包含网页的二进制字符串，然后用decode()解码成html源码

2. urlretrieve()

将一个网页爬取到本地

3. urlclearup()

清除 urlretrieve()所产生的缓存

4. info()

返回一个httpMessage对象，表示远程服务器的头信息

5. getcode()

获取当前网页的状态码 200代表成功，404网页未找到

6. geturl()

获取当前爬取页面的网址

示例：

from urllib import request
# urlretrieve() -- 将一个网页爬取到本地
request.urlretrieve("http://www.baidu.com",filename="demo.html")

# urlclearup() -- 清除urlretrieve()所产生的缓存
request.urlcleanup()

# info() -- 返回一个httpMessage对象,表示远程服务器的头信息
data = request.urlopen("http://www.taobao.com")
print(data.info())

# getcode() -- 获取当前网页的状态码data.geturl()
print(data.getcode())

# 获取当前爬取页面的网址
print(data.geturl())

运行结果：

Server: Tengine
Date: Wed, 09 May 2018 09:55:16 GMT
Content-Type: text/html; charset=utf-8
Transfer-Encoding: chunked
Connection: close
Vary: Accept-Encoding
X-Snapshot-Age: 1
Content-MD5: tkjcPUrHBAIt2N/YXcuwZg==
Vary: Ali-Detector-Type, X-CIP-PT
Cache-Control: max-age=0, s-maxage=89
ETag: W/"29b8-16340528168"
Via: cache22.l2cm9[0,304-0,H], cache17.l2cm9[0,0], cache1.cn372[0,200-0,H], cache2.cn372[1,0]
Age: 70
X-Cache: HIT TCP_MEM_HIT dirn:-2:-2 mlen:-1
X-Swift-SaveTime: Wed, 09 May 2018 09:54:59 GMT
X-Swift-CacheTime: 36
Timing-Allow-Origin: *
EagleId: 3c1cf2e515258597167937091e
Set-Cookie: thw=cn; Path=/; Domain=.taobao.com; Expires=Thu, 09-May-19 09:55:16 GMT;
Strict-Transport-Security: max-age=31536000


200
https://www.taobao.com/

超时设置(timeout)

由于在实际的爬取过程中，部分网站可能访问过慢，影响性能，这时我们可设置超时访问.

示例：如果在指定时间内正常访问，即输出获取数据的长度，如果超出指定时间，则抛出异常.

for i in range(0,10):
 try:
  data = urllib.request.urlopen("http://www.baidu.com",timeout=0.05).read()
  print(len(data))
 except Exception as e:
  print("出现异常:"+str(e))

运行结果：

114980
114888
114809
114839
114824
114611
出现异常:<urlopen error timed out>
出现异常:<urlopen error timed out>
出现异常:<urlopen error timed out>
115003

伪装

在爬取过程中，可能部分网站限制浏览器访问所以为了顺利达到我们的目的，我们对自己进行伪装.

这里我们介绍一下浏览器的伪装技术.

普通爬取：

from urllib import request
file = request.urlopen("http://www.baidu.com").read().decode()

通过浏览器伪装爬取数据：

方式一：

from urllib import request 
url = "http://www.baidu.com" 
headers = ("User-Agent"," Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36") #这里模拟浏览器 
opener = request.build_opener() 
opener.addheaders = [headers]
data = opener.open(url).read()
print(data)

方式二：

from urllib import request 
url = "http://www.baidu.com" 
headers = ("User-Agent"," Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36") #这里模拟浏览器 
opener = request.build_opener() 
opener.addheaders = [headers]
request.install_opener(opener)
data = request.urlopen(url).read().decode("utf-8")
print(data)

方式三：

from urllib import request 
url = "http://www.baidu.com" 
headers = {}"User-Agent":" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"} #这里模拟浏览器,通过字典
req = request.Request(url=rul,headers=headers)
data = request.urlopen(req).read().decode("utf-8")
print(data)

异常处理

爬虫在运行过程中,可能会出现各种各样的问题，如果没有异常处理的话,爬出异常会直接崩溃停止运行，下次再运行的时候,爬虫又要重头开始，所以我们要开发的是一个具有顽强生命力的爬虫，必须要进行异常的处理.

常见异常示例：

301 重定向
403 禁止访问
404 没有找到页面
500 服务器内部出现问题
200 成功

python中有两个异常处理的类：URLError与HttpError

HttpError 是 URLError子类
 HttpError 有异常状态码和异常原因
 URLError 只有异常原因,没有异常状态码
 所以,在异常处理的时候,不能使用URLError来代替
 如果想要代替,必须要进行判断,判断是否有状态码属性

 会产生URLError的情况:
  1.连接不上服务器
  2.远程的url不存在
  3.本地网络
  4.HttpError(是子类,也会出发会产生URLError

格式如下：

from urllib import error,request
try: # 可能会出现异常的代码

 data = request.urlopen("http://www.aliyu.com").read()
 print(data)

except error.URLError as e: # 进行异常的处理

 if hasattr(e,"code"): # 判断是否有状态码

  print(e.code) # 状态码

 if hasattr(e,"reason"): # 判断是否有异常原因

  print(e.reason) # 异常原因

以上这篇python爬虫之urllib,伪装,超时设置,异常处理的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

Python+selenium实现自动循环扔QQ邮箱漂流瓶
这篇文章主要为大家详细介绍了Python+selenium实现自动循环扔QQ邮箱漂流瓶，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2018-05-05
python redis 批量设置过期key过程解析
这篇文章主要介绍了python redis 批量设置过期key过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-11-11
一篇文章彻底弄懂Python中的if __name__ == __main__
在Python当中如果代码写得规范一些,通常会写上一句if '__name__'=='__main__:'作为程序的入口,下面这篇文章主要给大家介绍了关于如何通过一篇文章彻底弄懂Python中的if __name__ == __main__的相关资料,需要的朋友可以参考下
2022-12-12
python的正则表达式和re模块详解
这篇文章主要为大家详细介绍了python的正则表达式和re模块，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助
2022-02-02
Python实现PPT/PPTX批量转换成PDF
这篇文章主要为大家详细介绍了如何使用Python将PowerPoint演示文稿（PPT、PPTX等）转换为PDF文件,使演示内容能够在更多的设备上展示,感兴趣的小伙伴可以了解下
2024-01-01
python删除列表元素的三种方法(remove,pop,del)
这篇文章主要介绍了python删除列表元素的三种方法(remove,pop,del)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-07-07
Python字符串转换成浮点数函数分享
本文给大家分享的是一则使用Python实现字符串转换成浮点数的代码，主要是使用map和reduce方法来实现，有需要的小伙伴可以参考下。
2015-07-07
python 利用for循环保存多个图像或者文件的实例
今天小编就为大家分享一篇python 利用for循环保存多个图像或者文件的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-11-11
利用Python操作excel表格的完美指南
你是不是会经常简单且重复地操作excel表格?并且这些操作的技术含量低,下面这篇文章主要给大家介绍了关于利用Python操作excel表格的相关资料,需要的朋友可以参考下
2022-02-02
Python内置函数Type()函数一个有趣的用法
这篇文章主要介绍了Python内置函数Type()函数一个有趣的用法,本文讲解的是个人发现在的一个有趣的用法,注意这种写法会导致代码很难读,需要的朋友可以参考下
2015-02-02