python网络爬虫之如何伪装逃过反爬虫程序的方法
更新时间：2017年11月23日 09:15:03 作者：Master HaKu
本篇文章主要介绍了python网络爬虫之如何伪装逃过反爬虫程序的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
有的时候，我们本来写得好好的爬虫代码，之前还运行得Ok, 一下子突然报错了。
报错信息如下：
Http 800 Internal internet error
这是因为你的对象网站设置了反爬虫程序，如果用现有的爬虫代码，会被拒绝。
之前正常的爬虫代码如下：
from urllib.request import urlopen ... html = urlopen(scrapeUrl) bsObj = BeautifulSoup(html.read(), "html.parser")
这个时候，需要我们给我们的爬虫代码做下伪装，
给它添加表头伪装成是来自浏览器的请求
修改后的代码如下：
import urllib.parse
import urllib.request
from bs4 import BeautifulSoup
...
req = urllib.request.Request(scrapeUrl)
req.add_header('User-Agent', 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)')
response = urllib.request.urlopen(req)
html = response.read()
bsObj = BeautifulSoup(html, "html.parser")
Ok,一切搞定，又可以继续爬了。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
您可能感兴趣的文章:
- python爬虫爬取淘宝商品比价(附淘宝反爬虫机制解决小办法)
- 用sleep间隔进行python反爬虫的实例讲解
- python中绕过反爬虫的方法总结
- cookies应对python反爬虫知识点详解
- python反爬虫方法的优缺点分析
- python 常见的反爬虫策略
- Python爬虫与反爬虫大战
- Python常见反爬虫机制解决方案
- Python反爬虫伪装浏览器进行爬虫
- 详解python 破解网站反爬虫的两种简单方法
- python爬虫 urllib模块反爬虫机制UA详解
- 用python3 urllib破解有道翻译反爬虫机制详解
- Python反爬虫技术之防止IP地址被封杀的讲解
- Python3爬虫学习之应对网站反爬虫机制的方法分析
- python通过伪装头部数据抵抗反爬虫的实例
- python解决网站的反爬虫策略总结
- Requests什么的通通爬不了的Python超强反爬虫方案！
相关文章
这篇文章主要介绍了python2和python3的输入和输出区别介绍，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下2018-11-11
enumerate 是一个非常有用的函数,它允许你在迭代过程中方便地获取元素及其对应的索引,使代码更简洁、更Pythonic,这篇文章主要介绍了Python中的enumerate函数示例详解,需要的朋友可以参考下2023-08-08
Python Social Auth构建灵活而强大的社交登录系统实例探究
这篇文章主要为大家介绍了Python Social Auth构建灵活而强大的社交登录系统实例探究,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2024-01-01
很多小伙伴在提到python数据可视化的时候第一反应就是matplotlib库,但实际上python还有很多很好用的数据可视化的库,下面这篇文章主要给大家介绍了关于如何利用Python抓取数据并可视化的相关资料,需要的朋友可以参考下2022-05-05
这篇文章主要为大家详细介绍了批量将ppt转换为pdf的Python代码，只要27行，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-02-02
这篇文章主要介绍了解决python 输出到csv 出现多空行的情况，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
本文主要介绍了Python对FTP交互封装的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-06-06
这篇文章主要为大家详细介绍了windows下python安装pip图文教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-05-05
Python实现图片裁剪的两种方式(Pillow和OpenCV)
这篇文章主要介绍了Python实现图片裁剪的两种方式(Pillow和OpenCV)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-10-10
Python 将代码转换为可执行文件脱离python环境运行(步骤详解)
这篇文章主要介绍了Python 将代码转换为可执行文件脱离python环境运行(步骤详解),本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-01-01
最新评论