Python使用scrapy采集数据过程中放回下载过大页面的方法
更新时间：2015年04月08日 10:27:20 作者：pythoner
这篇文章主要介绍了Python使用scrapy采集数据过程中放回下载过大页面的方法,可实现限制下载过大页面的功能,非常具有实用价值,需要的朋友可以参考下
本文实例讲述了Python使用scrapy采集数据过程中放回下载过大页面的方法。分享给大家供大家参考。具体分析如下：
添加以下代码到settings.py，myproject为你的项目名称
复制代码 代码如下:
DOWNLOADER_HTTPCLIENTFACTORY = 'myproject.downloader.LimitSizeHTTPClientFactory'
自定义限制下载过大页面的模块
复制代码 代码如下:
MAX_RESPONSE_SIZE = 1048576 # 1Mb
from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory, ScrapyHTTPPageGetter
class LimitSizePageGetter(ScrapyHTTPPageGetter):
def handleHeader(self, key, value):
ScrapyHTTPPageGetter.handleHeader(self, key, value)
if key.lower() == 'content-length' and int(value) > MAX_RESPONSE_SIZE:
self.connectionLost('oversized')
class LimitSizeHTTPClientFactory(ScrapyHTTPClientFactory):
protocol = LimitSizePageGetter
from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory, ScrapyHTTPPageGetter
class LimitSizePageGetter(ScrapyHTTPPageGetter):
def handleHeader(self, key, value):
ScrapyHTTPPageGetter.handleHeader(self, key, value)
if key.lower() == 'content-length' and int(value) > MAX_RESPONSE_SIZE:
self.connectionLost('oversized')
class LimitSizeHTTPClientFactory(ScrapyHTTPClientFactory):
protocol = LimitSizePageGetter
希望本文所述对大家的Python程序设计有所帮助。
相关文章
python中parser.add_argument()用法实例(命令行选项、参数和子命令解析器)
最近开始读论文代码了,遇到一个名字叫option的py文件,打开一看清一色的parser.add_argument(),看得是一脸懵逼,这篇文章主要给大家介绍了关于python中parser.add_argument()用法的相关资料,需要的朋友可以参考下2022-03-03
使用Python pyglet库编写一个可播放音乐的扬声器类流程详解
这篇文章主要介绍了使用Python pyglet库编写一个可播放音乐的扬声器类,Pyglet主要用于创建视频游戏、独立游戏和多媒体应用,它提供了一组用于制作游戏的常用功能,包括图形渲染、声音播放、事件处理等等,需要的朋友可以参考下2024-03-03
这篇文章主要为大家详细介绍了基于python的ini配置文件操作工具类，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-04-04
这篇文章主要介绍了python统计文本中单词出现频率，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-05-05
今天小编就为大家分享一篇cmd运行python文件时对结果进行保存的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
本文是一个Python新手编写的热门游戏2048的代码，使用Python3编写，基于控制台，对于Python新手们熟悉Python语法非常有帮助，这里推荐给大家，希望大家能够喜欢。2015-03-03
Python是一种非常灵活的编程语言，可以混合使用同步和异步函数来实现更高效的编程。本文将介绍如何在Python中混合使用同步和异步函数，以及如何在不同场景下选择合适的函数，感兴趣的可以了解一下2023-03-03
Python3 列表 序列是Python中最基本的数据结构，下面这篇文章主要给大家介绍了关于Python3学习笔记之列表方法的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友可以参考下。2017-10-10
Python3+OpenCV2实现图像的几何变换(平移、镜像、缩放、旋转、仿射)
这篇文章主要介绍了Python3+OpenCV2实现图像的几何变换(平移、镜像、缩放、旋转、仿射),小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2019-05-05
说起动态图表,最火的莫过于动态条形图了,下面这篇文章主要给大家介绍了关于Python制作动态词频条形图的全过程,文中通过示例代码介绍的非常详细,需要的朋友可以参考下2021-11-11
最新评论