python3 Scrapy爬虫框架ip代理配置的方法

 更新时间:2020年01月17日 10:28:33   作者:Tyrion_Gong  
Scrapy是用python实现的一个为了爬取网站数据,提取结构性数据而编写的应用框架。使用Twisted高效异步网络框架来处理网络通信。这篇文章主要介绍了python3 Scrapy爬虫框架ip代理配置,需要的朋友可以参考下

什么是Scrapy?

  Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍。所谓的框架就是一个已经被集成了各种功能(高性能异步下载,队列,分布式,解析,持久化等)的具有很强通用性的项目模板。对于框架的学习,重点是要学习其框架的特性、各个功能的用法即可。

一、背景

     在做爬虫项目的过程中遇到ip代理的问题,网上搜了一些,要么是用阿里云的ip代理,要么是搜一些网上现有的ip资源,然后配置在setting文件中。这两个方法都存在一些问题。

1、阿里云ip代理方法,网上大都是配置阿里云的ip代理的用户名、密码然后加密、解密。我按照上面的方面操作,发现阿里云上面的ip代理的参数里面没有用户名、密码相关的参数配置了。

2、至于网上查到的另外一种方法是在setting文件里面添加代理IP资源池,然后再在middlewares.py文件里面添加上一些代码来实现,但代理ip不一定是可用的。

二、改进方法

1、基于背景中提到的网上两种方法的局限性,我在此综合了两种方法。

2、改进方法:

1)利用阿里云的ip代理API生成50个代理IP资源池(用自己的阿里云账号登陆生成的,ip有效性得到保障)

2)直接在middlewares.py中添加如下函数,PROXIES为在阿里云上面生成的ip,此处涉及到个人隐私,故用****代替。

class my_proxy(object):
  def process_request(self, request, spider):
    PROXIES = ['http://****.****.****.****:8080']
    ip = random.choice(PROXIES)
    request.meta['Proxy-Authorization'] = ip 

注意:request.meta的方括号里面的关键字需要写对,不然无法正常运行。

总结

以上所述是小编给大家介绍的python3 Scrapy爬虫框架ip代理配置的方法,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

相关文章

  • 使用django自带的user做外键的方法

    使用django自带的user做外键的方法

    这篇文章主要介绍了使用django自带的user做外键的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-11-11
  • Python流行ORM框架sqlalchemy安装与使用教程

    Python流行ORM框架sqlalchemy安装与使用教程

    这篇文章主要介绍了Python流行ORM框架sqlalchemy安装与使用,结合具体实例形式分析了sqlalchemy的安装及ORM映射、查询等相关操作技巧,需要的朋友可以参考下
    2019-06-06
  • Python numpy实现二维数组和一维数组拼接的方法

    Python numpy实现二维数组和一维数组拼接的方法

    今天小编就为大家分享一篇Python numpy实现二维数组和一维数组拼接的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-06-06
  • 简单谈谈python基本数据类型

    简单谈谈python基本数据类型

    在Python中,能够直接处理的数据类型有以下几种:#整型 int,#浮点型 float,#布尔型 bool,#复数型 (在python中用小写 j ,表示虚部,用其他的字母不行)complex
    2018-09-09
  • python去除字符串中的换行符

    python去除字符串中的换行符

    这篇文章主要介绍了python去除字符串中的换行符的相关资料,然后在文章下面给大家补充介绍了python去除空格和换行符的方法,需要的朋友可以参考下
    2017-10-10
  • 探究数组排序提升Python程序的循环的运行效率的原因

    探究数组排序提升Python程序的循环的运行效率的原因

    这篇文章主要介绍了探究数组排序提升Python程序的循环的运行效率的原因,作者用代码实践了多个小片段来进行对比解释,需要的朋友可以参考下
    2015-04-04
  • Python实现去除图片中指定颜色的像素功能示例

    Python实现去除图片中指定颜色的像素功能示例

    这篇文章主要介绍了Python实现去除图片中指定颜色的像素功能,结合具体实例形式分析了Python基于pil与cv2模块的图形载入、运算、转换等相关操作技巧,需要的朋友可以参考下
    2019-04-04
  • python使用turtle库绘制树

    python使用turtle库绘制树

    这篇文章主要为大家详细介绍了python使用turtle库绘制树,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-06-06
  • pyenv与virtualenv安装实现python多版本多项目管理

    pyenv与virtualenv安装实现python多版本多项目管理

    这篇文章主要介绍了pyenv与virtualenv安装实现python多版本多项目管理过程,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-08-08
  • python虚拟环境virualenv的安装与使用

    python虚拟环境virualenv的安装与使用

    virtualenv 是一个创建隔绝的Python环境的工具。virtualenv创建一个包含所有必要的可执行文件的文件夹,用来使用Python工程所需的包。下面这篇文章就给大家介绍了python虚拟环境virualenv的安装与使用,有需要的朋友们可以参考借鉴,下面来一起看看吧。
    2016-12-12

最新评论