python scrapy重复执行实现代码详解

更新时间：2019年12月28日 11:48:32 作者：winstonsias

这篇文章主要介绍了python scrapy重复执行实现代码详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取

Scrapy模块：

1、scheduler:用来存放url队列

2、downloader：发送请求

3、spiders:提取数据和url

4、itemPipeline：数据保存

from twisted.internet import reactor, defer
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
import time
import logging
from scrapy.utils.project import get_project_settings
 
 
#在控制台打印日志
configure_logging()
#CrawlerRunner获取settings.py里的设置信息
runner = CrawlerRunner(get_project_settings())
 
@defer.inlineCallbacks
def crawl():
  while True:
    logging.info("new cycle starting")
    yield runner.crawl("xxxxx")
    #1s跑一次
    time.sleep(1)
  reactor.stop()
 
crawl()
reactor.run()

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

利用matplotlib实现根据实时数据动态更新图形
今天小编就为大家分享一篇利用matplotlib实现根据实时数据动态更新图形，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-12-12
Python使用Opencv实现边缘检测以及轮廓检测的实现
这篇文章主要介绍了Python使用Opencv实现边缘检测以及轮廓检测的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-12-12
django haystack实现全文检索的示例代码
这篇文章主要介绍了django haystack实现全文检索的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-06-06
Python爬取当当、京东、亚马逊图书信息代码实例
这篇文章主要介绍了Python爬取当当、京东、亚马逊图书信息代码实例，具有一定借鉴价值，需要的朋友可以参考下。
2017-12-12
用pandas中的DataFrame时选取行或列的方法
今天小编就为大家分享一篇用pandas中的DataFrame时选取行或列的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-07-07
Python实现遍历目录的两张方法总结
我们有时想直接查看文件夹里的所有文件,但使用正常的方法太麻烦了,于是本文开发出了两个python程序,可以遍历目录,有需要的小伙伴可以参考下
2024-02-02
几个关于python Pdf 技巧的分享
这篇文章主要介绍了python使用技巧Pdf的详细内容，PyPDF2是一个纯Python的开源库，能够分割或合并PDF文件，也可以裁剪或转换PDF文件中的页面，下面关于文章主题内容将详细介绍，需要的小伙伴可以参考一下
2022-02-02
python之excel文件(.xls文件)处理方式
这篇文章主要介绍了python之excel文件(.xls文件)处理方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2023-05-05
解决python报错:AttributeError: 'ImageDraw' object h
这篇文章主要给大家介绍了关于解决python报错:AttributeError: 'ImageDraw' object has no attribute 'textbbox'的相关资料,文中通过图文介绍的非常详细,需要的朋友可以参考下
2024-01-01
python读取大型csv文件的操作方法(降低内存占用)
遇到大型的csv文件时,pandas会把该文件全部加载进内存,从而导致程序运行速度变慢,本文提供了批量读取csv文件、读取属性列的方法,减轻内存占用情况,文中有详细的代码示例,需要的朋友可以参考下
2024-03-03

python scrapy重复执行实现代码详解

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具