使用 Celery Once 来防止 Celery 重复执行同一个任务
在使用 Celery 的时候发现有的时候 Celery 会将同一个任务执行两遍，我遇到的情况是相同的任务在不同的 worker 中被分别执行，并且时间只相差几毫秒。这问题我一直以为是自己哪里处理的逻辑有问题，后来发现其他人 也有类似的问题，然后基本上出问题的都是使用 Redis 作为 Broker 的，而我这边一方面不想将 Redis 替换掉，就只能在 task 执行的时候加分布式锁了。
不过在 Celery 的 issue 中搜索了一下，有人使用 Redis 实现了分布式锁，然后也有人使用了 Celery Once。 大致看了一下 Celery Once ，发现非常符合现在的情况，就用了下。
Celery Once 也是利用 Redis 加锁来实现, Celery Once 在 Task 类基础上实现了 QueueOnce 类，该类提供了任务去重的功能，所以在使用时，我们自己实现的方法需要将 QueueOnce 设置为 base
@task(base=QueueOnce, once={'graceful': True})
后面的 once 参数表示，在遇到重复方法时的处理方式，默认 graceful 为 False，那样 Celery 会抛出 AlreadyQueued 异常，手动设置为 True，则静默处理。
另外如果要手动设置任务的 key，可以指定 keys 参数
@celery.task(base=QueueOnce, once={'keys': ['a']})
def slow_add(a, b):
sleep(30)
return a + b
总得来说，分为几步
第一步，安装
pip install -U celery_once
第二步，增加配置
from celery import Celery
from celery_once import QueueOnce
from time import sleep
celery = Celery('tasks', broker='amqp://guest@localhost//')
celery.conf.ONCE = {
'backend': 'celery_once.backends.Redis',
'settings': {
'url': 'redis://localhost:6379/0',
'default_timeout': 60 * 60
}
}
第三步，修改 delay 方法
example.delay(10) # 修改为 result = example.apply_async(args=(10))
第四步，修改 task 参数
@celery.task(base=QueueOnce, once={'graceful': True, keys': ['a']})
def slow_add(a, b):
sleep(30)
return a + b
参考链接 https://github.com/cameronmaske/celery-once
到此这篇关于使用 Celery Once 来防止 Celery 重复执行同一个任务的文章就介绍到这了,更多相关 Celery 重复执行同一个任务内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要给大家介绍了关于python利用递归方法实现求集合的幂集的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-09-09
其实现在还是有很多刚开始学习的小伙伴，会遇到模块不会安装的情况，或者一遇到报错就懵了，这样就很耽误我们的学习进度。所以，今天我们就来了解一下Python几种安装模块的方法吧2022-09-09
今天小编就为大家分享一篇对Python中一维向量和一维向量转置相乘的方法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
这篇文章主要介绍了python读取excel数据并且画图的实现示例，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下2021-02-02
邻接矩阵是一种常见的图表示方法,本文主要介绍了python计算邻接矩阵的实现示例,具有一定的参考价值,感兴趣的可以了解一下2023-11-11
这篇文章主要介绍了pygame实现俄罗斯方块游戏基础的第3篇，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-10-10
这篇文章主要介绍了介绍Python中几个常用的类方法,大都在自定义类的时候经常需要用到,这些是Python学习中的基本功,需要的朋友可以参考下2015-04-04
这篇文章主要介绍了浅谈Python中copy()方法的使用,Python中的拷贝分为潜拷贝和深拷贝,本文只是简单介绍用法,需要的朋友可以参考下2015-05-05
很多网站登录都需要输入验证码,如果要实现自动登录就不可避免的要识别验证码,下面这篇文章主要给大家介绍了关于python自动化操作之动态验证码、滑动验证码的降噪和识别,需要的朋友可以参考下2021-08-08
下面我将会介绍一些在我在使用PyCharm时感到惊奇的一些事情。2014-06-06
最新评论