Celery批量异步调用任务一直等待结果问题
更新时间：2023年11月24日 09:36:41 作者：lee_star1
这篇文章主要介绍了Celery批量异步调用任务一直等待结果问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
Celery批量异步调用任务一直等待结果
采用celery中group方式进行批量异步调用，且需要等待返回结果时（未设置超时时间）
两种情况会导致任务一直等待结果：
1. 如果异步方法对异常未进行处理
直接抛出，则会导致group的job一直等待结果，如下代码：
@shared_task(bind=True)
def test_task_method(self, number, is_ignore_exception):
try:
logger.info('enter method')
# if number % 10 == 0:
# raise Exception('throw exception')
time.sleep(15)
except Exception:
logger.info(traceback.format_exc())
if not is_ignore_exception:
raise2. celery出现任务task丢失情况
实际执行任务与期待任务数量不符合，则会一直等待结果。因为可能部分开发者对查看Broker和celery执行的情况命令不熟悉，这里推荐安装Flower监控celery，文档参考Flower文档。
在执行中观察celery是否掉线，
如下图：
如果出现掉线，则查看celery日志或者系统日志（/var/log/message）查看是存在进程被kill情况，
如下图：
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
ython中的PyPDF2库是一个非常有用的工具,无论您是需要分析PDF文档中的内容还是需要在文档中搜索特定的信息,PyPDF2都可以帮助您轻松实现这些任务,下面我们就来学习一下如何利用PyPDF2提取PDF文本吧2023-09-09
这篇文章主要介绍了Numpy之如何改变数组形状问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-06-06
大家好，本篇文章主要讲的是Python各种类型装饰器详细介绍，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下，方便下次浏览2021-12-12
文件与目录操作是编程语言中非常重要的功能，Python也对其提供了相应的API支持，这篇博文就是具体介绍它们的使用方法，通读本篇对大家的学习或工作具有一定的价值，需要的朋友可以参考下2021-09-09
这篇文章主要介绍了Python3 实现建造者模式的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-06-06
在python爬虫中：requests + selenium 可以解决目前90%的爬虫需求，难道scrapy 是解决剩下的10%的吗？显然不是。scrapy框架是为了让我们的爬虫更强大、更高效。接下来我们一起学习一下它吧。2019-02-02
在本篇文章里小编给大家整理的是一篇关于python中time包实例详解内容，对此有兴趣的朋友们可以学习下。2021-02-02
下面小编就为大家分享一篇python遍历一个目录,输出所有的文件名的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
这篇文章主要介绍了python爬虫beautifulsoup解析html方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-12-12
在日常开发中,有时需要在Python脚本中执行系统命令,Python有五种方式来执行系统命令(推荐使用第五种),本文为大家整理了这五种方法的具体使用,希望对大家有所帮助2024-01-01
最新评论