Django celery异步任务实现代码示例

 更新时间:2020年11月26日 10:25:55   投稿:yaominghui  
这篇文章主要介绍了Django celery异步任务实现代码示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

最近项目中用到celery很多,Django快速接入celery,这里给份教程。

准备

pip安装celery、flower、eventlet

快速接入

1.项目目录的__init__文件

from __future__ import absolute_import

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celerypro import app as celery_app

2.celerypro.py文件

from __future__ import absolute_import
import os
from celery import Celery
from django.conf import settings

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'voice_quality_assurance_configure.settings') #修改项目配置文件的地址
app = Celery('voice_quality_assurance_configure') #修改项目目录名称
# Using a string here means the worker will not have to
# pickle the object when using Windows.
app.config_from_object('voice_quality_assurance_configure.celeryconfig') #修改celery配置文件的地址
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

3.celeryconfig.py文件,更多配置项,可以查看官方文档。

from kombu import Queue
BROKER_URL = 'amqp://用户名:密码@ip:5672'# 指定 Broker
CELERY_RESULT_BACKEND = 'rpc://用户名:密码@ip:5672'# 指定 Backend
CELERY_TIMEZONE='Asia/Shanghai'# 指定时区,默认是 UTC
CELERY_TASK_SERIALIZER = 'pickle'
CELERY_RESULT_SERIALIZER = 'pickle'
CELERY_ACCEPT_CONTENT = ['pickle', 'json']
CELERY_IGNORE_RESULT = True
# CELERY_TIMEZONE='UTC'
CELERY_IMPORTS = (
  # 指定导入的任务模块
  'apps.mission.tasks'
)
CELERY_QUEUES = (
  Queue('default', routing_key='default'), #声明队列和对应路由键
  Queue('worker_queue', routing_key='worker'), #声明队列和对应路由键
)
CELERY_ROUTES = {
  'apps.mission.tasks.createsingletask': {'queue': 'worker_queue', 'routing_key': 'worker'},
}

app代码如何使用

app下新建tasks.py文件,名字一定要是tasks。(我这里是mission app下的tasks.py)

from celery import shared_task
@shared_task()
def createsingletask():
  print(test)

app下views调用如下:(我这里是mission app下的views.py)

from .tasks import createsingletask

createsingletask.apply_async(())

快速测试和监控

启动多个celery worker,-A 指定项目目录, -P 指定方式,我这里以协程方式运行, -n指定name

celery worker -A voice_quality_assurance_configure --loglevel=info -P eventlet -n worker1
celery worker -A voice_quality_assurance_configure --loglevel=info -P eventlet -n worker2
celery worker -A voice_quality_assurance_configure --loglevel=info -P eventlet -n worker3
celery worker -A voice_quality_assurance_configure --loglevel=info -P eventlet -n worker4
celery worker -A voice_quality_assurance_configure --loglevel=info -P eventlet -n worker5

启动flower监控

celery flower --broker=amqp://用户名:密码@ip:5672 --broker-api=http://用户名:密码@ip:15672/api/

查看监控,注意这里的监控数据是不持久化的。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • Python数据可视化之基于pyecharts实现的地理图表的绘制

    Python数据可视化之基于pyecharts实现的地理图表的绘制

    今天给大家带来的是Python的相关知识,文章围绕着pyecharts绘制地理图表展开,文中有非常详细的代码示例及介绍,需要的朋友可以参考下
    2021-06-06
  • Python中的一些陷阱与技巧小结

    Python中的一些陷阱与技巧小结

    这篇文章主要介绍了Python中的一些陷阱与技巧小结,包括生成器等高级用法,和Python2.x与3版本换代带来的兼容性问题等,需要的朋友可以参考下
    2015-07-07
  • Python蓄水池算法的应用案例与代码详解

    Python蓄水池算法的应用案例与代码详解

    蓄水池算法(Reservoir Sampling)是一种用于处理大规模数据流的随机抽样算法,该算法能够在不知道数据流大小的情况下,从数据流中均匀随机地抽取固定大小的样本,本文给大家介绍了一个详细的Python蓄水池算法的实现,包括完整的代码示例,需要的朋友可以参考下
    2024-11-11
  • Python Ajax爬虫案例分享

    Python Ajax爬虫案例分享

    这篇文章主要介绍了Python Ajax爬虫案例分享,文章会从街拍链接里面爬取图片结构,下面文章对正在学习的你有一定的帮助,需要的小伙伴可以参考一下
    2022-02-02
  • python类方法中的self关键字使用

    python类方法中的self关键字使用

    这篇文章主要介绍了python类方法中的self关键字使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-12-12
  • Python实现遍历大量表格文件并筛选出数据缺失率低的文件

    Python实现遍历大量表格文件并筛选出数据缺失率低的文件

    这篇文章主要为大家详细介绍了如何利用Python实现遍历大量表格文件并筛选出表格内数据缺失率低的文件的功能,感兴趣的小伙伴可以跟随小编一起学习一下
    2023-05-05
  • python中有帮助函数吗

    python中有帮助函数吗

    在本篇文章里小编给大家分享的是一篇关于python帮助函数详解内容,有兴趣的朋友们可以学习下。
    2020-06-06
  • Python使用自带的ConfigParser模块读写ini配置文件

    Python使用自带的ConfigParser模块读写ini配置文件

    这篇文章主要介绍了Python使用自带的ConfigParser模块读写ini配置文件的方法,ConfigParser中包含了对ini的节section的一些基本操作,使得改写ini时非常简便,需要的朋友可以参考下
    2016-06-06
  • python二分查找算法的递归实现方法

    python二分查找算法的递归实现方法

    这篇文章主要介绍了python二分查找算法的递归实现方法,结合实例形式分析了Python二分查找算法的相关实现技巧,需要的朋友可以参考下
    2016-05-05
  • Python3 pandas 操作列表实例详解

    Python3 pandas 操作列表实例详解

    这篇文章主要介绍了Python3 pandas 操作列表实例详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-09-09

最新评论