python scrapy重复执行实现代码详解

更新时间：2019年12月28日 11:48:32 作者：winstonsias

这篇文章主要介绍了python scrapy重复执行实现代码详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取

Scrapy模块：

1、scheduler:用来存放url队列

2、downloader：发送请求

3、spiders:提取数据和url

4、itemPipeline：数据保存

from twisted.internet import reactor, defer
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
import time
import logging
from scrapy.utils.project import get_project_settings
 
 
#在控制台打印日志
configure_logging()
#CrawlerRunner获取settings.py里的设置信息
runner = CrawlerRunner(get_project_settings())
 
@defer.inlineCallbacks
def crawl():
  while True:
    logging.info("new cycle starting")
    yield runner.crawl("xxxxx")
    #1s跑一次
    time.sleep(1)
  reactor.stop()
 
crawl()
reactor.run()

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

python采集微信公众号文章
这篇文章主要为大家详细介绍了python采集微信公众号文章的方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2018-12-12
Python Django模板之模板过滤器与自定义模板过滤器示例
这篇文章主要介绍了Python Django模板之模板过滤器与自定义模板过滤器,结合实例形式分析了Django框架模板过滤器与自定义模板过滤器相关功能、原理、使用方法及相关操作注意事项,需要的朋友可以参考下
2019-10-10
python使用webbrowser浏览指定url的方法
这篇文章主要介绍了python使用webbrowser浏览指定url的方法,实例分析了Python操作webbrowser模块的技巧,非常简单实用,需要的朋友可以参考下
2015-04-04
在Keras中利用np.random.shuffle()打乱数据集实例
这篇文章主要介绍了在Keras中利用np.random.shuffle()打乱数据集实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-06-06
python 实现二维字典的键值合并等函数
今天小编就为大家分享一篇python 实现二维字典的键值合并等函数，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-12-12
Python正则表达式实现截取成对括号的方法
这篇文章主要介绍了Python正则表达式实现截取成对括号的方法,涉及Python正则匹配相关操作技巧,需要的朋友可以参考下
2017-01-01
解决Pandas的DataFrame输出截断和省略的问题
今天小编就为大家分享一篇解决Pandas的DataFrame输出截断和省略的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-02-02
创建SparkSession和sparkSQL的详细过程
SparkSession 是 Spark SQL 的入口，Builder 是 SparkSession 的构造器。通过 Builder, 可以添加各种配置，并通过 stop 函数来停止 SparkSession，本文给大家分享创建SparkSession和sparkSQL的详细过程，一起看看吧
2021-08-08
python游戏实战项目之俄罗斯方块的魅力
迟早一定会挂掉的俄罗斯方块，为什么至今仍是世界游戏之王？它是怎么编写的？本文将给大家详细的介绍，对大家的学习或工作具有一定的参考借鉴价值
2021-09-09
使用python和pygame制作挡板弹球游戏
这篇文章主要介绍了使用python和pygame制作挡板弹球游戏，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
2019-12-12