Python while true实现爬虫定时任务
更新时间：2020年06月08日 11:33:42 作者：战俘巡航
这篇文章主要介绍了Python爬虫定时任务简单实现,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
记得以前的windows 任务定时是可以的正常使用的，今天试了下，发现不能正常使用了，任务计划总是挂起。
接下来记录下python 爬虫定时任务的几种解决方法。
今天是第一篇，后面会陆续更新。
首先最容易的是while true死循环挂起，上代码
import osimport timeimport sysfrom datetime import datetime, timedelta
def One_Plan():
# 设置启动周期
Second_update_time = 24 * 60 * 60
# 当前时间
now_Time = datetime.now()
# 设置 任务启动时间
plan_Time = now_Time.replace(hour=9, minute=0, second=0, microsecond=0)
# 设置差值，-1 day, 21:48:53.246576，类似于这样
# time.sleep()需要传入int，所以下面使用.total_seconds()
# 主要用来计算差值，返回int，具体功能可以自行查阅相关资料
delta = plan_Time - now_Time
first_plan_Time = delta.total_seconds() % Second_update_time
print("距离第一次执行需要睡眠%d秒" % first_plan_Time)
return first_plan_Time
# while Ture代码块，挂起程序，睡眠时间结束后调用函数名进行执行
while True:
s1 = One_Plan()
time.sleep(s1)
# 下面这里是自己定义的函数，想跑代码的可以换成hellow world函数或者注释掉这行测试下
exe_file(D_list)
print("正在执行首次更新程序")
个人感觉使用这种方式进行定时计划的启动如果为单个程序，并且一天执行一次的话没什么问题，如果要考虑到一天执行多个任务并且一天需要执行多次，短板一下就凸显出来了，
在工作的情况中还需要考虑到很多因素，比如爬虫程序需要在晚上12点和早上6点，9点，下午3点执行四次，并且需要同时执行4个爬虫，还需要考虑到网络是否稳定，如果程序挂掉该怎么处理等等因素
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Django如何继承AbstractUser扩展字段,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-11-11
这篇文章主要介绍了python打开文件并获取文件相关属性的方法,涉及Python操作文件的相关技巧,需要的朋友可以参考下2015-04-04
asyncio 是用来编写 并发 代码的库，使用 async/await 语法。 asyncio 被用作多个提供高性能 Python 异步框架的基础，包括网络和网站服务，数据库连接库，分布式任务队列等等。这篇文章主要介绍了Python中的asyncio,需要的朋友可以参考下2019-06-06
下面小编就为大家带来一篇基于python3 类的属性、方法、封装、继承实例讲解。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-09-09
这篇文章主要介绍了python 字典操作提取key,value的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-06-06
这篇文章主要介绍了matplotlib 三维图表绘制方法简介，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-09-09
这篇文章主要介绍了python多线程实现同时执行两个while循环的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
今天小编就为大家分享一篇浅谈dataframe中更改列属性的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-07-07
这篇文章主要介绍了Python语言中的if语句详情，每条if语句的核心都是一个值为True或False的表达式，这种表达式被称为条件测试，下面文章介绍python语言的if语句详细内容，需要的小伙伴可以参考一下2022-02-02
这篇文章主要介绍了Python如何将list中的string转换为int，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-07-07
最新评论