Python爬虫爬取商品失败处理方法
更新时间：2021年08月05日 08:28:56 作者：py
在本篇文章里小编给大家整理了一篇关于Python爬虫爬取商品失败处理方法，有兴趣的朋友们可以学习参考下。
1.登陆网站，开启开发者模式。
可以在浏览器中点击右键检查或者F12打开开发者模式。
2.点选 NetWork，DOC，然后刷新页面。
在 network 中选择 doc，在请求的 headers 中搜索 cookie。
3.获取对应的 cookie 以及 user-agent。
4.在代码中添加到 headers 里面。
def getHTMLText(url):
kv = {
'cookie': 'adsgadfafegadsgadsfaefasdfaewfadsfag'
'uaer-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
}
try:
r = requests.get(url, headers=kv, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return "gg"
实例扩展：
程序的结构设计
- 提交商品搜索请求，循环获取页面
- 对于每个页面，提取商品名称和价格信息
- 将信息输出
遇到问题
爬取成功，数据有问题
打印 html 文件，返回如下
<script type="text/javascript">
TRLang = {
ERROR_NICK_BLANK: "请填写账户名",
ERROR_PASSWORD_BLANK: "请输入密码",
ERROR_NICK_PASSWORD_BLANK: "请输入账户名和密码",
ERROR_CHECKCODE_BLANK: "请输入验证码",
TIPS_REMEMBER_PASSWORD: "记住密码",
TIPS_NOT_REMEMBER_PSW_ON_PUBLIC: "不要在公共计算机记住密码，防止账户被盗"
};
</script>
到此这篇关于Python爬虫爬取商品失败处理方法的文章就介绍到这了,更多相关Python爬虫爬取商品失败内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了如何用python将单引号替换为双引号，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-07-07
这篇文章主要介绍了python制作最美应用的爬虫的相关资料,需要的朋友可以参考下2015-10-10
这篇文章主要介绍了Python实现单词拼写检查,本文讲解了单词拼写检查的一些知识并给出两种实现方法,需要的朋友可以参考下2015-04-04
Sanic是一个Python 3.5+的异步Web框架,它的设计理念与Flask相似,但采用了更高效的异步I/O处理,在处理文件上传时,Sanic同样提供了方便、高效的方法,本教程将结合实际案例,详细介绍如何在Sanic框架中实现文件上传的功能,感兴趣的朋友跟随小编一起看看吧2024-08-08
Tensorflow: 从checkpoint文件中读取tensor方式
今天小编就为大家分享一篇Tensorflow: 从checkpoint文件中读取tensor方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
这篇文章主要为大家详细介绍了如何通过python脚本实现浏览器的一些基本操作，如：浏览器的前进后退、页面刷新等，感兴趣的可以学习一下2022-06-06
Python数学建模StatsModels统计回归模型数据的准备
这篇文章主要介绍了Python数学建模StatsModels统计回归模型数据的准备学习，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步2021-10-10
这篇文章主要为大家详细介绍了Python实现猜数字游戏，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-02-02
Python标准库datetime之datetime模块用法分析详解
这篇文章主要介绍了Python标准库datetime之datetime模块用法分析详解，文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下2022-07-07
这篇文章主要介绍了Python with语句和过程抽取思想,本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下2019-12-12
最新评论