浅析python实现scrapy定时执行爬虫
更新时间：2018年03月04日 11:03:39 投稿：mrr
这篇文章主要介绍了浅析python实现scrapy定时执行爬虫的相关资料,需要的朋友可以参考下
项目需要程序能够放在超算中心定时运行，于是针对scrapy写了一个定时爬虫的程序main.py ，直接放在scrapy的存储代码的目录中就能设定时间定时多次执行。
最简单的方法：直接使用Timer类
import time
import os
while True:
os.system("scrapy crawl News")
time.sleep(86400) #每隔一天运行一次 24*60*60=86400s或者，使用标准库的sched模块
import sched
#初始化sched模块的scheduler类
#第一个参数是一个可以返回时间戳的函数，第二个参数可以在定时未到达之前阻塞。
schedule = sched.scheduler ( time.time, time.sleep )
#被周期性调度触发的函数
def func():
os.system("scrapy crawl News")
def perform1(inc):
schedule.enter(inc,0,perform1,(inc,))
func() # 需要周期执行的函数
def mymain():
schedule.enter(0,0,perform1,(86400,))
if __name__=="__main__":
mymain()
schedule.run() # 开始运行，直到计划时间队列变成空为止关于cmd的实现方法，本人在单次执行爬虫程序时使用的是
cmdline.execute("scrapy crawl News".split())但可能因为cmdline是scrapy模块中自带的，所以定时执行时只能执行一次就退出了。
小伙伴有种方法是使用
import subprocess
subprocess.Popen("scrapy crawl News")
她的程序运行正常可以定时多次执行，而我的却直接退出了，改为
from subprocess import Popen
subprocess.Popen("scrapy crawl News")
才正常，不知道为什么会这样，如果有大神可以解释原因还请指点。
反正
os.system、subprocess.Popen
都是pythoncmd的实现方法，可以根据需要选择使用。
总结
以上所述是小编给大家介绍的python实现scrapy定时执行爬虫，希望对大家有所帮助，如果大家有任何疑问欢迎给我留言，小编会及时回复大家的！
您可能感兴趣的文章:
- Python爬虫框架Scrapy安装使用步骤
- 零基础写python爬虫之使用Scrapy框架编写爬虫
- 使用scrapy实现爬网站例子和实现网络爬虫(蜘蛛)的步骤
- scrapy爬虫完整实例
- 深入剖析Python的爬虫框架Scrapy的结构与运作流程
- 讲解Python的Scrapy爬虫框架使用代理进行采集的方法
- Python使用Scrapy爬虫框架全站爬取图片并保存本地的实现代码
- Python的Scrapy爬虫框架简单学习笔记
- 实践Python的爬虫框架Scrapy来抓取豆瓣电影TOP250
- 使用Python的Scrapy框架编写web爬虫的简单示例
- python爬虫框架scrapy实战之爬取京东商城进阶篇
- Scrapy爬虫多线程导致抓取错乱的问题解决
相关文章
这篇文章主要为大家介绍了python人工智能遗传算法示例解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
matplotlib是基建立在python之上，适用于创建静态，动画和交互式可视化，通常与数据分析模块pandas搭配使用，用于数据的分析和展示，适用于主流的操作系统，如Linux、Win、Mac2022-11-11
这篇文章主要介绍了python cx_Oracle模块的安装和使用详细介绍的相关资料,需要的朋友可以参考下2017-02-02
今天小编就为大家分享一篇Python之list对应元素求和的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-06-06
这篇文章主要介绍了python flask自定义404错误页面方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-12-12
这篇文章主要为大家详细介绍了Python管理Windows服务的小脚本，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-03-03
tensorflow使用CNN分析mnist手写体数字数据集
这篇文章主要介绍了tensorflow使用CNN分析mnist手写体数字数据集，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2020-06-06
这篇文章主要介绍了linux安装Python3.4.2的操作方法，非常不错，具有一定的参考借鉴价值,需要的朋友可以参考下2018-09-09
今天教大家如何使用Python selenium,本文会以艺龙旅游网为对象,进行selenium的学习,目的：爬取艺龙网中南阳市唐河县的酒店信息,包括：名字,电话,标间价格,地址,介绍,图片,需要的朋友可以参考下2021-06-06
windows系统多个python中更改默认python版本
这篇文章主要给大家介绍了关于windows系统多个python中更改默认python版本的相关资料,在Python开发中,不同的项目往往需要使用不同的Python版本,需要的朋友可以参考下2023-09-09
最新评论