scrapy-redis的安装部署步骤讲解

更新时间：2019年02月27日 11:29:25 作者：世纪殇

今天小编就为大家分享一篇关于scrapy-redis的安装部署步骤讲解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧

先说下自己的环境，redis是部署在centos上的，爬虫运行在windows上，

1. 安装redis

yum install -y redis

2. 修改配置文件

vi /etc/redis.conf

将 protected-mode no解注释，否则的话，在不设置密码情况下远程无法连接redis

3. 重启redis

systemctl restart redis

4. 关闭防火墙

systemctl stop firewalld.service

5. 开始创建scrapy-redis的相关，和普通的scrapy一样的创建，只不过修改setting.py文件，添加一行

REDIS_URL = 'redis://192.168.61.130:6379'

6. 修改spiders.py文件

# -*- coding: utf-8 -*-
from scrapy_redis.spiders import RedisSpider
class ExampleSpider(RedisSpider):
  name = 'myspider'
  redis_key = 'test_key'
  allowed_domains = ['www.example.com']
  def parse(self, response):
    print(1111)
    pass

7. 可以执行这个爬虫了

scrapy runspider example.py

8. 进入redis

redis-cli -h 127.0.0.1 -p
rpush test_key http://test.com

即可看到爬虫开始运行了

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对脚本之家的支持。如果你想了解更多相关内容请查看下面相关链接

您可能感兴趣的文章:

python用什么编辑器进行项目开发
在本篇文章里小编给大家整理的是一篇关于python开发用的编辑器详细介绍，有需要的朋友们可以参考下哎。
2020-06-06
Python实现网站文件的全备份和差异备份
这篇文章主要介绍了Python实现网站文件的全备份和差异备份,需要的朋友可以参考下
2014-11-11
Python定时任务框架APScheduler原理及常用代码
这篇文章主要介绍了Python定时任务框架APScheduler原理及常用代码,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-10-10
Python计数器collections.Counter用法详解
本文主要介绍了Python计数器collections.Counter用法详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-03-03
使用python搭建代理IP池实现接口设置与整体调度
在网络爬虫中,代理IP池是一个非常重要的组件,由于许多网站对单个IP的请求有限制,因此,我们需要一个代理IP池,在本文中,我们将使用Python来构建一个代理IP池,然后,我们将使用这个代理IP池来访问我们需要的数据,文中有相关的代码示例供大家参考,需要的朋友可以参考下
2023-12-12
Python答题卡识别并给出分数的实现代码
本文带领大家学习Python答题卡识别并给出分数的实现代码，代码实现思路清晰，简单易懂，Python识别答题卡相关知识感兴趣的朋友一起看看吧
2021-06-06
Python中datetime模块参考手册
Python处理时间和日期方面的模块，主要就是datetime、time、calendar三个模块的使用。下面这篇文章主要给大家介绍的是Python中的datetime模块,需要的朋友可以参考借鉴，下面来一起看看吧。
2017-01-01
Python使用matplotlib创建Gif动图的思路
这篇文章主要介绍了Python使用matplotlib创建Gif动图,我们将讨论matplotlib提供的名为“Animation”的动画库之一，Python二维绘图库是Matplolib可以轻松创建绘图、直方图、条形图、散点图等，需要的朋友可以参考下
2022-04-04
python中的单下划线与双下划线以及绝对导入与相对导入
这篇文章主要介绍了python中的单下划线与双下划线以及绝对导入与相对导入说明，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2022-11-11
Python列表生成器的循环技巧分享
这篇文章主要介绍了Python列表生成器的循环技巧分享,本文讲解了列表生成器中一个循环和二个循环的不同写法,需要的朋友可以参考下
2015-03-03