脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → scrapy的redis安装和配置

基于scrapy的redis安装和配置方法

 更新时间：2018年06月13日 09:52:52   作者：成吉思潇  
今天小编就为大家分享一篇基于scrapy的redis安装和配置方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

在定向爬虫的制作过程中，使用分布式爬取技术可以显著提高爬取效率。而 Redis 配合 Scrapy 是实现分布式爬取的基础。

Redis 是一个高性能的 Key-Value 数据库，它把数据保存在内存里。因此可以有非常快的数据读写速度。

scrapy-redis 的安装

pip install scrapy-redis
easy_install scrapy-redis

下载

http://redis.io/download

版本推荐

stable 3.0.2

运行redis

redis-server redis.conf

清空缓存

redis-cli flushdb

scrapy配置redis

settings.py配置redis

SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
REDIS_URL = None # 一般情况可以省去
REDIS_HOST = '127.0.0.1' # 也可以根据情况改成 localhost
REDIS_PORT = 6379

在scrapy中使用scrapy-redis

spider 继承RedisSpider

class tempSpider(RedisSpider) 
name = "temp"
redis_key = ''temp:start_url"

以上这篇基于scrapy的redis安装和配置方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • 用 Python 定义 Schema 并生成 Parquet 文件详情

    用 Python 定义 Schema 并生成 Parquet 文件详情

    本文将演示两个例子，一个是没有层级的两个字段，另一个是含于嵌套级别的字段，将要使用到的 Python 模块有 pandas 和 pyarrow，感兴趣是我小伙伴请和小编一起学习下面文章内容吧
    2021-09-09
  • 利用QT写一个极简单的图形化Python闹钟程序

    利用QT写一个极简单的图形化Python闹钟程序

    这篇文章主要介绍了利用QT写一个极简单的图形化Python闹钟程序,核心代码只有25行,显示屏幕提示而没有闹铃声音,需要的朋友可以参考下
    2015-04-04
  • python的Template使用指南

    python的Template使用指南

    本文主要讲解了python中Template使用方法以及使用技巧，非常实用，有需要的朋友可以参考下
    2014-09-09
  • 使用Python与BigQuery进行交互的代码详解

    使用Python与BigQuery进行交互的代码详解

    在大数据分析的领域中,Google BigQuery 是一个被广泛使用的云端数据仓库解决方案,它由 Google Cloud 提供,并且专为处理大规模数据集、进行快速的数据分析和复杂的查询而设计,本文给大家讲解了如何使用Python与BigQuery进行交互,需要的朋友可以参考下
    2025-04-04
  • Pandas_cum累积计算和rolling滚动计算的用法详解

    Pandas_cum累积计算和rolling滚动计算的用法详解

    今天小编就为大家分享一篇Pandas_cum累积计算和rolling滚动计算的用法详解，具有好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • Python文字截图识别OCR工具实例解析

    Python文字截图识别OCR工具实例解析

    这篇文章主要介绍了Python文字截图识别OCR工具实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-03-03
  • python安装scipy的方法步骤

    python安装scipy的方法步骤

    在本篇文章里小编给各位分享了关于python怎么安装scipy的具体方法和实例代码，需要的朋友们学习下。
    2019-06-06
  • Python异步处理返回进度——使用Flask实现进度条

    Python异步处理返回进度——使用Flask实现进度条

    这篇文章主要介绍了Python异步处理返回进度——使用Flask实现进度条，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2022-05-05
  • 基于pygame实现贪吃蛇小游戏示例

    基于pygame实现贪吃蛇小游戏示例

    大家好，本篇文章主要讲的是基于pygame实现贪吃蛇小游戏示例，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下，方便下次浏览
    2021-12-12
  • Python 定义只读属性的实现方式

    Python 定义只读属性的实现方式

    这篇文章主要介绍了Python 定义只读属性的实现方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-03-03

最新评论