脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → scrapy框架代理中间件学习

python爬虫框架scrapy代理中间件掌握学习教程

 更新时间：2021年11月15日 10:10:16   作者：梦想橡皮擦  
这篇文章主要介绍了python爬虫框架scrapy代理中间件掌握学习教程，为大家说明一下 scrapy 中代理相关知识点，有需要的朋友可以借鉴参考下，希望能够有所帮助

代理的使用场景

编写爬虫代码的程序员，永远绕不开就是使用代理，在编码过程中，你会碰到如下情形：

网络不好，需要代理；

目标站点国内访问不了，需要代理；

网站封杀了你的 IP，需要代理。

使用 HttpProxyMiddleware 中间件

本次的测试站点依旧使用 http://httpbin.org/，通过访问 http://httpbin.org/ip 可以获取当前请求的 IP 地址。
HttpProxyMiddleware 中间件默认是开启的，可以查看其源码重点为 process_request() 方法。

python scrapy 代理中间件，爬虫必掌握的内容之一

修改代理的方式非常简单，只需要在 Requests 请求创建的时候，增加 meta 参数即可。

import scrapy
class PtSpider(scrapy.Spider):
    name = 'pt'
    allowed_domains = ['httpbin.org']
    start_urls = ['http://httpbin.org/ip']

    def start_requests(self):
        yield scrapy.Request(url=self.start_urls[0], meta={'proxy': 'http://202.5.116.49:8080'})
    def parse(self, response):
        print(response.text)

接下来通过获取一下 https://www.kuaidaili.com/free/ 网站的代理 IP，并测试其代理是否可用。

import scrapy
class PtSpider(scrapy.Spider):
    name = 'pt'
    allowed_domains = ['httpbin.org', 'kuaidaili.com']
    start_urls = ['https://www.kuaidaili.com/free/']

    def parse(self, response):
        IP = response.xpath('//td[@data-title="IP"]/text()').getall()
        PORT = response.xpath('//td[@data-title="PORT"]/text()').getall()
        url = 'http://httpbin.org/ip'
        for ip, port in zip(IP, PORT):
            proxy = f"http://{ip}:{port}"
            meta = {
                'proxy': proxy,
                'dont_retry': True,
                'download_timeout': 10,
            }
            yield scrapy.Request(url=url, callback=self.check_proxy, meta=meta, dont_filter=True)
    def check_proxy(self, response):
        print(response.text)

接下来将可用的代理 IP 保存到 JSON 文件中。

import scrapy
class PtSpider(scrapy.Spider):
    name = 'pt'
    allowed_domains = ['httpbin.org', 'kuaidaili.com']
    start_urls = ['https://www.kuaidaili.com/free/']
    def parse(self, response):
        IP = response.xpath('//td[@data-title="IP"]/text()').getall()
        PORT = response.xpath('//td[@data-title="PORT"]/text()').getall()
        url = 'http://httpbin.org/ip'
        for ip, port in zip(IP, PORT):
            proxy = f"http://{ip}:{port}"
            meta = {
                'proxy': proxy,
                'dont_retry': True,
                'download_timeout': 10,
                '_proxy': proxy
            }
            yield scrapy.Request(url=url, callback=self.check_proxy, meta=meta, dont_filter=True)
    def check_proxy(self, response):
        proxy_ip = response.json()['origin']
        if proxy_ip is not None:
            yield {
                'proxy': response.meta['_proxy']
            }

同时修改 start_requests 方法，获取 10 页代理。

class PtSpider(scrapy.Spider):
    name = 'pt'
    allowed_domains = ['httpbin.org', 'kuaidaili.com']
    url_format = 'https://www.kuaidaili.com/free/inha/{}/'
    def start_requests(self):
        for page in range(1, 11):
            yield scrapy.Request(url=self.url_format.format(page))

实现一个自定义的代理中间件也比较容易，有两种办法，第一种继承 HttpProxyMiddleware，编写如下代码：

from scrapy.downloadermiddlewares.httpproxy import HttpProxyMiddleware
from collections import defaultdict
import random
class RandomProxyMiddleware(HttpProxyMiddleware):
    def __init__(self, auth_encoding='latin-1'):
        self.auth_encoding = auth_encoding

        self.proxies = defaultdict(list)
        with open('./proxy.csv') as f:
            proxy_list = f.readlines()
            for proxy in proxy_list:
                scheme = 'http'
                url = proxy.strip()
                self.proxies[scheme].append(self._get_proxy(url, scheme))
    def _set_proxy(self, request, scheme):
        creds, proxy = random.choice(self.proxies[scheme])
        request.meta['proxy'] = proxy
        if creds:
            request.headers['Proxy-Authorization'] = b'Basic ' + creds

代码核心重写了 __init__ 构造方法，并重写了 _set_proxy 方法，在其中实现了随机代理获取。
同步修改 settings.py 文件中的代码。

DOWNLOADER_MIDDLEWARES = {
   'proxy_text.middlewares.RandomProxyMiddleware': 543,
}

创建一个新的代理中间件类

class NRandomProxyMiddleware(object):
    def __init__(self, settings):
        # 从settings中读取代理配置 PROXIES
        self.proxies = settings.getlist("PROXIES")
    def process_request(self, request, spider):
        request.meta["proxy"] = random.choice(self.proxies)
    @classmethod
    def from_crawler(cls, crawler):
        if not crawler.settings.getbool("HTTPPROXY_ENABLED"):
            raise NotConfigured
        return cls(crawler.settings)

可以看到该类从 settings.py 文件中的 PROXIES 读取配置，所以修改对应配置如下所示：

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
    'proxy_text.middlewares.NRandomProxyMiddleware': 543,
}
# 代码是前文代码采集的结果
PROXIES = ['http://140.249.48.241:6969',
           'http://47.96.16.149:80',
           'http://140.249.48.241:6969',
           'http://47.100.14.22:9006',
           'http://47.100.14.22:9006']

如果你想测试爬虫，可编写一个随机返回请求代理的函数，将其用到任意爬虫代码之上，完成本博客任务。

以上就是python爬虫框架scrapy代理中间件掌握学习教程的详细内容，更多关于scrapy框架代理中间件学习的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

相关文章

  • python基础之while循环语句的使用

    python基础之while循环语句的使用

    这篇文章主要介绍了python基础之while循环语句的使用,文中有非常详细的代码示例,对正在学习python的小伙伴们有一定的帮助,需要的朋友可以参考下
    2021-04-04
  • Python2.7环境Flask框架安装简明教程【已测试】

    Python2.7环境Flask框架安装简明教程【已测试】

    这篇文章主要介绍了Python2.7环境Flask框架安装方法,结合实例形式详细分析了Python2.7环境下安装Flask框架遇到的问题与相关解决方法、注意事项,并给出了一个基本的测试示例,需要的朋友可以参考下
    2018-07-07
  • 在Django框架中伪造捕捉到的URLconf值的方法

    在Django框架中伪造捕捉到的URLconf值的方法

    这篇文章主要介绍了在Django框架中伪造捕捉到的URLconf值的方法,Django是Python各色人气框架中最为著名的一个,需要的朋友可以参考下
    2015-07-07
  • python从内存地址上加载python对象过程详解

    python从内存地址上加载python对象过程详解

    这篇文章主要介绍了python从内存地址上加载pythn对象过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-01-01
  • Python装饰器用法实例分析

    Python装饰器用法实例分析

    这篇文章主要介绍了Python装饰器用法,结合实例形式分析了带参数装饰器、无参数装饰器等相关实现与使用技巧,需要的朋友可以参考下
    2019-01-01
  • pycharm 关掉syntax检查操作

    pycharm 关掉syntax检查操作

    这篇文章主要介绍了pycharm 关掉syntax检查操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-06-06
  • Queue 实现生产者消费者模型(实例讲解)

    Queue 实现生产者消费者模型(实例讲解)

    下面小编就为大家带来一篇Queue 实现生产者消费者模型(实例讲解)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2017-11-11
  • Python基于Tkinter实现的垃圾分类答题软件代码

    Python基于Tkinter实现的垃圾分类答题软件代码

    这篇文章主要介绍了基于Tkinter实现的垃圾分类答题软件代码,图形用户界面是一种人与计算机通信的界面显示格式，允许用户使用鼠标等输入设备操纵屏幕上的图标或菜单选项,需要的朋友可以参考下
    2023-04-04
  • 详解Python 字符串相似性的几种度量方法

    详解Python 字符串相似性的几种度量方法

    这篇文章主要介绍了详解Python 字符串相似性的几种度量方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-08-08
  • python 修改本地网络配置的方法

    python 修改本地网络配置的方法

    今天小编就为大家分享一篇python 修改本地网络配置的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-08-08

最新评论