基于多进程中APScheduler重复运行的解决方法
问题
在一个python web应用中需要定时执行一些任务，所以用了APScheduler这个库。又因为是用flask这个web框架，所以用了flask-apscheduler这个插件（本质上与直接用APScheduler一样，这里不作区分）。
在开发中直接测试运行是没有问题的，但是用gunicorn部署以后发生了重复运行的问题：
每个任务在时间到的时刻会同时执行好几遍。
注意了一下重复的数量，恰恰是gunicorn里配置的worker进程数量，显然是每个worker进程都启动了一份scheduler造成。
解决
可以想到的方案有几个：
用--preload启动gunicorn，确保scheduler只在loader的时候创建一次
另外创建一个单独的定时任务项目，单独以一个进程运行
用全局锁确保scheduler只运行一次
经过实践，只有第三个方案比较好。
preload的问题：
虽然这样可以使用scheduler创建代码只执行一次，但是问题也在于它只执行一次，重新部署以后如果用kill -HUP重启gunicorn，它并不会重启，甚至整个项目都不会更新。这是preload的副作用，除非重写部署脚本，完全重启应用。
单独进程的问题：
也是因为部署麻烦，需要多一套部署方案，虽然用Docker会比较方便，但仍然不喜欢，而且同时维护两个项目也多出很多不必要的事情。
全局锁是一个较好的方案，但问题在于找一个合适的锁。
python自带的多进程多线程锁方案都需要一个共享变量来维护，但是因为worker进程是被gunicorn的主进程启动的，并不方便自己维护，所以需要一个系统级的锁。
在Stackoverflow上看到有人是用了一个socket端口来做锁实现这个方案，但是我也不喜欢这样浪费一个宝贵的端口资源。不过这倒给了我一个启发：
可以用文件锁！
于是有了这个解决方案：
import atexit
import fcntl
from flask_apscheduler import APScheduler
def init(app):
f = open("scheduler.lock", "wb")
try:
fcntl.flock(f, fcntl.LOCK_EX | fcntl.LOCK_NB)
scheduler = APScheduler()
scheduler.init_app(app)
scheduler.start()
except:
pass
def unlock():
fcntl.flock(f, fcntl.LOCK_UN)
f.close()
atexit.register(unlock)
原理
init函数为flask项目初始化所调用，这里为scheduler模块的初始化部分。
首先打开（或创建）一个scheduler.lock文件，并加上非阻塞互斥锁。成功后创建scheduler并启动。
如果加文件锁失败，说明scheduler已经创建，就略过创建scheduler的部分。
最后注册一个退出事件，如果这个flask项目退出，则解锁并关闭scheduler.lock文件的锁。
以上这篇基于多进程中APScheduler重复运行的解决方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
在Windows服务器下用Apache和mod_wsgi配置Python应用的教程
这篇文章主要介绍了在Windows服务器下用Apache和mod_wsgi配置Python应用的教程,本文选择以flask框架作为示例,需要的朋友可以参考下2015-05-05
这篇文章主要介绍了Python 实现一个手机号码获取妹子名字的功能，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下2019-09-09
这篇文章主要为大家详细介绍了Python使用numpy实现BP神经网络，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-03-03
这篇文章主要介绍了Python绘制地理图表可视化神器pyecharts，文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下2022-07-07
Python中2种常用数据可视化库Bokeh和Altair使用示例详解
本文对Python中两个常用的数据可视化库 Bokeh 和 Altair 进行了比较和探讨,通过对它们的特点、优缺点以及使用示例的详细分析,读者可以更好地了解这两个库的功能和适用场景,从而更好地选择合适的库来进行数据可视化工作,感兴趣的朋友跟随小编一起看看吧2024-04-04
这篇文章主要介绍了Pandas缺失值2种处理方式代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-06-06
这篇文章主要介绍了python爬虫原理,今天我们要向大家详细解说python爬虫原理，什么是python爬虫，python爬虫工作的基本流程是什么等内容，希望对这正在进行python爬虫学习的同学有所帮助2023-07-07
对python操作kafka写入json数据的简单demo分享
今天小编就为大家分享一篇对python操作kafka写入json数据的简单demo，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
网络爬虫成为了自动化数据抓取的核心工具,Python 拥有强大的第三方库支持,在网络爬虫领域的应用尤为广泛,本文将深入探讨 Python 网络爬虫的高阶用法,包括处理反爬虫机制、动态网页抓取、分布式爬虫以及并发和异步爬虫等技术,帮助读者掌握高级Python爬虫技术2024-12-12
这篇文章主要介绍了Flask使用类组织配置，在实际的项目中，我们一般都会建立三个环境：开发、测试和生产环境，这三种环境会使用不同的配置组合，为了能方便地切换配置，我们可以为不同的环境创建不同的配置文件，下面来看详细内容,需要的朋友可以参考一下2021-11-11
最新评论