Python爬虫动态ip代理防止被封的方法

 更新时间:2019年07月07日 11:09:17   作者:撒撒撒windy  
在本篇文章中小编给大家整理了关于Python爬虫动态ip代理防止被封的方法以及实例代码,需要的朋友们学习下。

在爬取的过程中难免发生ip被封和403错误等等,这都是网站检测出你是爬虫而进行反爬措施,在这里为大家总结一下怎么用IP代理防止被封

首先,设置等待时间:

常见的设置等待时间有两种,一种是显性等待时间(强制停几秒),一种是隐性等待时间(看具体情况,比如根据元素加载完成需要时间而等待)图1是显性等待时间设置,图2是隐性

第二步,修改请求头:

识别你是机器人还是人类浏览器浏览的重要依据就是User-Agent,比如人类用浏览器浏览就会使这个样子的User-Agent:'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'

第三步,采用代理ip/建代理ip池

直接看代码。利用动态ip代理,可以强有力地保障爬虫不会被封,能够正常运行。图1为使用代理ip的情况,图2是建ip代理池的代码,有没有必要需要看自己的需求,大型项目是必须用大量ip的。

做好以上3个步骤,大致爬虫的运行就不成问题了。
做好以上3个步骤,大致爬虫的运行就不成问题了。

以上就是本次介绍的全部内容,感谢大家的学习和对脚本之家的支持。

相关文章

  • 基于python实现KNN分类算法

    基于python实现KNN分类算法

    这篇文章主要为大家详细介绍了基于python实现KNN分类算法,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-01-01
  • python实现简易版学生成绩管理系统

    python实现简易版学生成绩管理系统

    这篇文章主要为大家详细介绍了python实现简易版学生成绩管理系统,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-06-06
  • Python如何使用input函数获取输入

    Python如何使用input函数获取输入

    这篇文章主要介绍了Python如何使用input函数获取输入,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-08-08
  • 使用批处理脚本自动生成并上传NuGet包(操作方法)

    使用批处理脚本自动生成并上传NuGet包(操作方法)

    这篇文章主要介绍了使用批处理脚本自动生成并上传NuGet包的操作方法,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-11-11
  • Python3.9新特性详解

    Python3.9新特性详解

    这篇文章主要介绍了Python3.9新特性详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-10-10
  • Selenium结合BeautifulSoup4编写简单的python爬虫

    Selenium结合BeautifulSoup4编写简单的python爬虫

    这篇文章主要介绍了Selenium结合BeautifulSoup4编写简单的python爬虫,帮助大家更好的理解和学习python 爬虫的相关知识,感兴趣的朋友可以了解下
    2020-11-11
  • python SVM 线性分类模型的实现

    python SVM 线性分类模型的实现

    这篇文章主要介绍了python SVM 线性分类模型的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-07-07
  • Python的Bottle框架中返回静态文件和JSON对象的方法

    Python的Bottle框架中返回静态文件和JSON对象的方法

    这篇文章主要介绍了Python的Bottle框架中返回静态文件和JSON对象的方法,Bottle框架在Python开发者中具有很高的人气,需要的朋友可以参考下
    2015-04-04
  • 关于Python的pymouse click 双击的问题

    关于Python的pymouse click 双击的问题

    这篇文章主要介绍了关于Python的pymouse click 双击的问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-06-06
  • 利用Python实现字幕挂载(把字幕文件与视频合并)思路详解

    利用Python实现字幕挂载(把字幕文件与视频合并)思路详解

    这篇文章主要介绍了如何利用Python实现字幕挂载,把字幕文件与视频合并,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-10-10

最新评论