python3 Scrapy爬虫框架ip代理配置的方法
什么是Scrapy？
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。
一、背景
在做爬虫项目的过程中遇到ip代理的问题，网上搜了一些，要么是用阿里云的ip代理，要么是搜一些网上现有的ip资源，然后配置在setting文件中。这两个方法都存在一些问题。
1、阿里云ip代理方法，网上大都是配置阿里云的ip代理的用户名、密码然后加密、解密。我按照上面的方面操作，发现阿里云上面的ip代理的参数里面没有用户名、密码相关的参数配置了。
2、至于网上查到的另外一种方法是在setting文件里面添加代理IP资源池，然后再在middlewares.py文件里面添加上一些代码来实现，但代理ip不一定是可用的。
二、改进方法
1、基于背景中提到的网上两种方法的局限性，我在此综合了两种方法。
2、改进方法：
1）利用阿里云的ip代理API生成50个代理IP资源池（用自己的阿里云账号登陆生成的，ip有效性得到保障）
2）直接在middlewares.py中添加如下函数，PROXIES为在阿里云上面生成的ip，此处涉及到个人隐私，故用****代替。
class my_proxy(object):
def process_request(self, request, spider):
PROXIES = ['http://****.****.****.****:8080']
ip = random.choice(PROXIES)
request.meta['Proxy-Authorization'] = ip
注意：request.meta的方括号里面的关键字需要写对，不然无法正常运行。
总结
以上所述是小编给大家介绍的python3 Scrapy爬虫框架ip代理配置的方法，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！
如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！
相关文章
今天小编就为大家分享一篇Python-opencv 双线性插值实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-01-01
这篇文章主要介绍了深入浅析python继承问题的相关资料，非常不错，感兴趣的朋友一起看看吧2016-05-05
本文主要介绍了Python中namedtuple 命名元祖的使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-04-04
这篇文章主要介绍了Python 调用C++封装的进一步探索交流，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
不知道大家有没有发现，博客园有些博客左侧会有鼠标移动特效。通过移动鼠标，会形成类似蜘蛛网的特效，本文将用PyQt5实现这一特效，需要的可以参考一下2022-03-03
这篇文章主要介绍了python之json文件转xml文件案例讲解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下2021-08-08
python的scrapy框架之Pipeline文件的用法详解
这篇文章主要介绍了python的scrapy框架之Pipeline文件的用法详解,Pipeline是一个独立的模块,用于处理从Spider中提取的Item对象,实现对数据的进一步处理、存储和清洗等操作,下面将详细介绍Scrapy框架中Pipeline的用法,需要的朋友可以参考下2023-10-10
这篇文章主要为大家介绍了Python依赖管理及打包工具Poetry的依赖规范，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步2021-09-09
这篇文章主要介绍了python PyAUtoGUI库实现自动化控制鼠标键盘，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下2020-09-09
大家好，本篇文章主要讲的是python将天气预报可视化，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下，方便下次浏览2022-01-01
最新评论