scrapy-redis的安装部署步骤讲解
更新时间：2019年02月27日 11:29:25 作者：世纪殇
今天小编就为大家分享一篇关于scrapy-redis的安装部署步骤讲解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
先说下自己的环境，redis是部署在centos上的，爬虫运行在windows上，
1. 安装redis
yum install -y redis
2. 修改配置文件
vi /etc/redis.conf
将 protected-mode no解注释，否则的话，在不设置密码情况下远程无法连接redis
3. 重启redis
systemctl restart redis
4. 关闭防火墙
systemctl stop firewalld.service
5. 开始创建scrapy-redis的相关，和普通的scrapy一样的创建，只不过修改setting.py文件，添加一行
REDIS_URL = 'redis://192.168.61.130:6379'
6. 修改spiders.py文件
# -*- coding: utf-8 -*-
from scrapy_redis.spiders import RedisSpider
class ExampleSpider(RedisSpider):
name = 'myspider'
redis_key = 'test_key'
allowed_domains = ['www.example.com']
def parse(self, response):
print(1111)
pass
7. 可以执行这个爬虫了
scrapy runspider example.py
8. 进入redis
redis-cli -h 127.0.0.1 -p rpush test_key http://test.com
即可看到爬虫开始运行了
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对脚本之家的支持。如果你想了解更多相关内容请查看下面相关链接
相关文章
在本篇文章里小编给大家分享的是一篇关于python解包知识点总结，对此有兴趣的朋友们可以学习参考下。2021-02-02
这篇文章主要介绍了python3序列化与反序列化用法,实例分析了Python3使用pickle模块针对字符串进行序列化操作的相关技巧,需要的朋友可以参考下2015-05-05
这篇文章主要介绍了python BeautifulSoup设置页页编码的方法,本文直接给出代码救命,需要的朋友可以参考下2015-04-04
这篇文章主要介绍了PyQt5 QDockWidget控件应用详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-08-08
这篇文章主要为大家介绍了代码解析python标准库logging模块，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
Python+Selenium+Pytesseract实现图片验证码识别
这篇文章主要介绍了利用Python+Selenium+Pytesseract实现图片验证码识别，文中的示例代码讲解详细，感兴趣的小伙伴可以跟随小编一起学习一下2022-01-01
Hypothesis是一个基于属性的测试（property-based testing）库,它能够帮助我们生成和执行大量的测试用例,与传统的单元测试相比,属性测试更加灵活和全面,能够发现更多的边界情况和潜在的错误2024-01-01
今天小编就为大家分享一篇PyCharm设置每行最大长度限制的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
这篇文章主要介绍了python中文编码问题,是Python程序设计中比较常见的一类问题,本文以实例形式对此进行了较为详细的总结,需要的朋友可以参考下2014-09-09
sys模块是最常用的和python解释器交互的模块,sys模块可供访问由解释器(interpreter)使用或维护的变量和与解释器进行交互的函数,下面这篇文章主要给大家介绍了关于python标准库学习之sys模块的相关资料,需要的朋友可以参考下2022-08-08
最新评论