Python数据抓取爬虫代理防封IP方法
爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息，一般来说，Python爬虫程序很多时候都要使用（飞猪IP）代理的IP地址来爬取程序，但是默认的urlopen是无法使用代理的IP的，我就来分享一下Python爬虫怎样使用代理IP的经验。（推荐飞猪代理IP注册可免费使用，浏览器搜索可找到）
1、划重点，小编我用的是Python3哦，所以要导入urllib的request，然后我们调用ProxyHandler，它可以接收代理IP的参数。代理可以根据自己需要选择，当然免费的也是有的，但是可用率可想而知的。（飞猪IP）
2、接着把IP地址以字典的形式放入其中，这个IP地址是我乱写的，只是用来举例。设置键为http，当然有些是https的，然后后面就是IP地址以及端口号（9000），具体看你的IP地址是什么类型的，不同IP端口号可能不同根据你在飞猪提取的端口为准。
3、接着再用build_opener()来构建一个opener对象。
4、然后调用构建好的opener对象里面的open方法来发生请求。实际上urlopen也是类似这样使用内部定义好的opener.open()，这里就相当于我们自己重写。
5、当然了，如果我们使用install_opener()，就可以把之前自定义的opener设置成全局的。
6、设置成全局之后，如果我们再使用urlopen来发送请求，那么发送请求使用的IP地址就是代理IP，而不是本机的IP地址了。
7、最后再来说说使用代理遇到的错误，提示目标计算机积极拒绝，这就说明可能是代理IP无效，或者端口号错误，这就需要使用有效的IP才行哦。（这边现在是乱填写的IP地址）可选择飞猪的代理IP。
总结：以上就是本次关于Python数据抓取爬虫代理防封IP方法，感谢大家的阅读和对脚本之家的支持。
相关文章
Python多进程并发(multiprocessing)用法实例详解
这篇文章主要介绍了Python多进程并发(multiprocessing)用法,实例分析了multiprocessing模块进程操作的相关技巧,需要的朋友可以参考下2015-06-06
这篇文章主要介绍了Python OpenCV实现姿态识别的方法，本文通过截图实例代码相结合给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2022-02-02
在某些难以抉择得时候，我们经常要用外力来帮助我们做出选择，比如，梁山出征方腊前沙场点兵，挑选先锋的场景。所以本文就来用Python做个随机点名系统吧，需要的可以参考一下2023-04-04
Python中使用线程有两种方式：函数或者用类来包装线程对象2012-12-12
下面小编就为大家分享一篇用python 批量更改图像尺寸到统一大小的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-03-03
这篇文章主要为大家介绍了Pytorch搭建YoloV4目标检测平台实现源码，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
在本篇文章里小编给大家整理的是一篇关于python中time tzset()函数实例用法内容，有兴趣的朋友们可以学习下。2021-02-02
这篇文章主要为大家详细介绍了python开发飞机大战游戏，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-07-07
这篇文章主要介绍了简单了解django处理跨域请求最佳解决方案,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-03-03
这篇文章主要介绍了python 通⽤爬⾍和聚焦爬⾍的相关资料，帮助大家更好的了解和使用python 爬虫，感兴趣的朋友可以了解下2020-09-09
最新评论