Python爬虫headers处理及网络超时问题解决方案
更新时间：2020年06月19日 09:31:28 作者：夏日的向日葵
这篇文章主要介绍了Python爬虫headers处理及网络超时问题解决方案,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
1、请求headers处理
我们有时请求服务器时，无论get或post请求，会出现403错误，这是因为服务器拒绝了你的访问，这时我们可以通过模拟浏览器的头部信息进行访问，这样就可以解决反爬设置的问题。
import requests
# 创建需要爬取网页的地址
url = 'https://www.baidu.com/'
# 创建头部信息
headers = {'User-Agent':'OW64; rv:59.0) Gecko/20100101 Firefox/59.0'}
# 发送网络请求
response = requests.get(url, headers=headers)
# 以字节流形式打印网页源码
print(response.content)
结果：
b'<!DOCTYPE html><!--STATUS OK-->\n\n\n \n \n <html><head><meta http-equiv="Content-Type" content="text/html;charset=utf-8"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><meta content="always" name="referrer"><meta name="theme-color" content="#2932e1"><meta name="description" content="\xe5\x85\xa8\xe7\x90\x83\xe6\x9c\x80\xe5\xa4\xa7\xe7\x9a\x84\xe4\xb8\xad\xe6\x96\x87\xe6\x90\x9c\xe7\xb4\xa2\xe5\xbc\x95\xe6\x93\x8e\xe3\x80\x81\xe8\x87\xb4\xe5\x8a\x9b\xe4\xba\x8e\xe8\xae\xa9\xe7\xbd\x91\xe6\xb0\x91\xe6\x9b\xb4\xe4\xbe\xbf\xe6\x8d\xb7\xe5\x9c\xb0\xe8\x8e\xb7\xe5\x8f\x96\xe4\xbf\xa1\xe6\x81\xaf\xef\xbc\x8c\xe6\x89\xbe\xe5\x88\xb0\xe6\x89\x80\xe6\xb1\x82\xe3\x80\x82\xe7\x99\xbe\xe5\xba\xa6\xe8\xb6\x85\xe8\xbf\x87\xe5\x8d\x83\xe4\xba\xbf\xe7\x9a\x84\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe9\xa1\xb5\xe6\x95\xb0\xe6\x8d\xae\xe5\xba\x93\xef\xbc\x8c\xe5\x8f\xaf\xe4\xbb\xa5\xe7\x9e\xac\xe9\x97\xb4\xe6\x89\xbe\xe5\x88\xb0\xe7\x9b\xb8\xe5\x85\xb3\xe7\x9a\x84\xe6\x90\x9c\xe7\xb4\xa2\xe7\xbb\x93\xe6\x9e\x9c\xe3\x80\x82"><link rel="shortcut icon" href="/favicon.ico" rel="external nofollow" type="image/x-icon" /><link rel="search" type="application/opensearchdescription+xml" href="/content-search.xml" rel="external nofollow" title="\xe7\x99\xbe\xe5\xba\xa6\xe6\x90\x9c\xe7\xb4\xa2" /><link rel="icon" sizes="any" mask href="//www.baidu.com/img/baidu_85beaf5496f291521eb75ba38eacbd87.svg" rel="external nofollow" ><link rel="dns-prefetch" href="//dss0.bdstatic.com" rel="external nofollow" /><link rel="dns-prefetch" href="//dss1.bdstatic.com" rel="external nofollow" /><link rel="dns-prefetch" href="//ss1.bdstatic.com" rel="external nofollow" /><link rel="dns-prefetch" href="//sp0.baidu.com" rel="external nofollow" /><link rel="dns-prefetch" href="//sp1.baidu.com" rel="external nofollow" /><link rel="dns-prefetch" href="//sp2.baidu.com" rel="external nofollow" />
2、网络超时问题
在访问一个网页时，如果该网页长时间未响应，系统就会判断该网页超时，而无法打开网页。下面通过代码来模拟一个网络超时的现象。
import requests
# 循环发送请求50次
for a in range(1, 50):
# 捕获异常
try:
# 设置超时为0.5秒
response = requests.get('https://www.baidu.com/', timeout=0.5)
# 打印状态码
print(response.status_code)
# 捕获异常
except Exception as e:
# 打印异常信息
print('异常'+str(e))
结果：
200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200
以上代码中，模拟进行了50次循环请求，设置超时时间为0.5秒，在0.5秒内服务器未作出相应视为超时，程序会将超时信息打印在控制台中。
说起网络异常信息，requests模块同样提供了三种常见的网络异常类，示例代码如下：
import requests
# 导入requests.exceptions模块中的三种异常类
from requests.exceptions import ReadTimeout,HTTPError,RequestException
# 循环发送请求50次
for a in range(1, 50):
# 捕获异常
try:
# 设置超时为0.5秒
response = requests.get('https://www.baidu.com/', timeout=0.5)
# 打印状态码
print(response.status_code)
# 超时异常
except ReadTimeout:
print('timeout')
# HTTP异常
except HTTPError:
print('httperror')
# 请求异常
except RequestException:
print('reqerror')
结果：
200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
今天给大家带来的是关于Python的相关知识,文章围绕着Python requests模块展开,文中有非常详细的介绍及代码示例,需要的朋友可以参考下2021-06-06
Anaconda安装pytorch及配置PyCharm 2021环境
小编使用的是python3.8版本，为了防止访问量过大导致http连接失败，所以采用本地安装，具体安装方法本文给大家详细介绍，在文章底部给大家提到了PyCharm 2021配置环境的方法，感兴趣的朋友一起看看吧2021-06-06
这篇文章主要介绍了python 实现添加标签&打标签的操作，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-05-05
今天小编就为大家分享一篇Python之csv文件从MySQL数据库导入导出的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-06-06
使用python的pexpect模块,实现远程免密登录的示例
今天小编就为大家分享一篇使用python的pexpect模块,实现远程免密登录的示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-02-02
这篇文章主要介绍了python学习之matplotlib绘制散点图实例，具有一定借鉴价值，需要的朋友可以参考下。2017-12-12
python3实现往mysql中插入datetime类型的数据
这篇文章主要介绍了python3实现往mysql中插入datetime类型的数据，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-03-03
Python基于递归算法实现的汉诺塔与Fibonacci数列示例
这篇文章主要介绍了Python基于递归算法实现的汉诺塔与Fibonacci数列,结合实例形式分析了汉诺塔与Fibonacci数列的递归实现技巧,需要的朋友可以参考下2018-04-04
pyinstaller打包python3.6和PyQt5中各种错误的解决方案汇总
pyinstaller是打包python很方便的一个套件,我们可以很轻易地使用他,下面这篇文章主要给大家介绍了关于pyinstaller打包python3.6和PyQt5中各种错误解决的相关资料,需要的朋友可以参考下2022-08-08
这篇文章介绍了使用Django框架创建项目的方法，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-06-06
最新评论