python爬虫框架scrapy下载中间件的编写方法

 更新时间:2022年03月25日 09:00:10   作者:S++  
这篇文章主要介绍了python爬虫框架scrapy下载中间件,在每一个scrapy工程中都有一个名为 middlewares.py 的文件,这个就是中间件文件,本文通过示例代码给大家介绍的非常详细,需要的朋友参考下吧

下载中间件

在每一个scrapy工程中都有一个名为 middlewares.py 的文件,这个就是中间件文件
其中下载中间件的类为 XxxDownloaderMiddleware
其中有这么几个方法

def process_request(self, request, spider):
return None
def process_response(self, request, response, spider):
return response
def process_exception(self, request, exception, spider):
pass

process_request

这个方法是用来拦截请求的,我们可以将UA伪装写在这个方法中。
UA池这个属性需要自己编写

def process_request(self, request, spider):
        # UA伪装,从UA池随机一个
        request.headers['User-Agent'] = random.choice(self.user_agent_list)
        return None

process_response

这个方法是用来拦截响应的,我们可以在这里篡改响应数据。
如果我们将selenium和scrapy结合就可以请求那些动态加载的数据了。

 def process_response(self, request, response, spider):
        # 浏览器对象
        bro = spider.bro
        # 参数spider是爬虫对象
        # 挑选出指定响应对象进行篡改url->request->response
        bro.get(request.url)
        page_text = bro.page_source  # 包含了动态加载的数据
        # 针对定位到的response篡改
        # 实例化新的响应对象(包含动态加载的数据)
        response = HtmlResponse(url=bro.current_url, body=page_text, encoding='utf-8', request=request)
        return response

在爬虫文件中需要预先创建selenium的浏览器对象

import scrapy
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver import ChromeOptions

class XxxSpider(scrapy.Spider):
    name = 'xxx'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['……']
    def __init__(self):
        service = Service('/Users/soutsukyou/PyCharm_Workspace/网络爬虫/study_selenium/chromedriver')
        chrome_options = ChromeOptions()
        # 规避检测
        chrome_options.add_experimental_option('excludeSwitches', ['enable-automation'])
        # 实例化浏览器
        self.bro = webdriver.Chrome(service=service, options=chrome_options)

process_exception

这是用来拦截发生异常的请求对象,一般我们可以在这里写代理ip。
两个代理ip池属性需要自己编写

 def process_exception(self, request, exception, spider):
        # 可以设置代理ip
        if request.url.split(':')[0] == 'http':
            request.meta['proxy'] = 'http://'+random.choice(self.PROXY_http)
        if request.url.split(':')[0] == 'https':
            request.meta['proxy'] = 'https://'+random.choice(self.PROXY_https)
        # 重新请求发送
        return request

其它

我们需要在settings.py中开启下载中间件才能使其生效

# Enable or disable downloader middlewares
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
   'xxx.middlewares.XxxDownloaderMiddleware': 543,
}

到此这篇关于python爬虫框架scrapy下载中间件的编写方法的文章就介绍到这了,更多相关python scrapy中间件内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • python提取页面内url列表的方法

    python提取页面内url列表的方法

    这篇文章主要介绍了python提取页面内url列表的方法,涉及Python操作页面元素的相关技巧,需要的朋友可以参考下
    2015-05-05
  • Python sklearn库实现PCA教程(以鸢尾花分类为例)

    Python sklearn库实现PCA教程(以鸢尾花分类为例)

    今天小编就为大家分享一篇Python sklearn库实现PCA教程(以鸢尾花分类为例),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-02-02
  • Python 可视化调色盘绘制

    Python 可视化调色盘绘制

    这篇文章主要介绍了Python 可视化调色盘绘制,文章首先通过导入模块并加载图片展开全文介绍,具有一定的参考价值,需要的朋友可以参考一下
    2022-06-06
  • 浅谈django orm 优化

    浅谈django orm 优化

    这篇文章主要介绍了浅谈django orm 优化,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-08-08
  • 教你用Python创建微信聊天机器人

    教你用Python创建微信聊天机器人

    这篇文章主要手把手教你用Python创建微信聊天机器人,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-03-03
  • Python+Pygame实战之俄罗斯方块游戏的实现

    Python+Pygame实战之俄罗斯方块游戏的实现

    俄罗斯方块,作为是一款家喻户晓的游戏,陪伴70、80甚至90后,度过无忧的儿时岁月,它上手简单能自由组合、拼接技巧也很多。本文就来用Python中的Pygame模块实现这一经典游戏,需要的可以参考一下
    2022-12-12
  • Python中的Decorator装饰器的使用示例

    Python中的Decorator装饰器的使用示例

    装饰器(decorator)在Python框架中扮演着重要角色,是Python中实现切面编程(AOP)的重要手段,本文将通过简单的示例和大家介绍下具体的使用方法,希望对大家有所帮助
    2022-12-12
  • 使用Python装饰器在Django框架下去除冗余代码的教程

    使用Python装饰器在Django框架下去除冗余代码的教程

    这篇文章主要介绍了使用Python装饰器在Django框架下去除冗余代码的教程,主要是处理JSON代码的一些冗余,需要的朋友可以参考下
    2015-04-04
  • 使用Python进行数据可视化实现引人注目的视觉效果

    使用Python进行数据可视化实现引人注目的视觉效果

    这篇文章主要介绍了使用Python进行数据可视化实现引人注目的视觉效果,您将了解基本的数据可视化概念,以及如何创建各种引人注目的图表和图形,从而更好地理解和呈现数据
    2023-04-04
  • Python实用小知识之对象间的比较

    Python实用小知识之对象间的比较

    == 和 is 是 Python 中对象比较常用的两种方式,简单来说,'==' 操作符比较对象之间的值是否相等,下面这篇文章主要给大家介绍了关于Python实用小知识之对象间比较的相关资料,需要的朋友可以参考下
    2021-10-10

最新评论