python中celery的基本使用详情

 更新时间:2022年09月30日 10:29:35   作者:埃菲尔没有塔尖  
这篇文章主要介绍了python中celery的基本使用详情,Celery 是由Python 编写的简单,灵活,可靠的用来处理大量信息的分布式系统,它同时提供操作和维护分布式系统所需的工具。Celery 专注于实时任务处理,支持任务调度

1.基本介绍

Celery 是由Python 编写的简单,灵活,可靠的用来处理大量信息的分布式系统,它同时提供操作和维护分布式系统所需的工具。Celery 专注于实时任务处理,支持任务调度。

简单的说,它就是一个分布式队列的管理工具,用celery提供的接口快速实现并管理一个分布式的任务队列。

有一点我们需要搞清楚,Celery 本身并不是任务队列,它是一个分布式队列的管理工具,Celery封装好了操作常见任务队列的各种操作,比如说从监听某个任务队列并从该队列中拿到数据进行消费。

2.使用场景

它可以让任务的执行完全脱离主程序,甚至可以被分配到其他主机上运行。我们通常使用它来实现异步任务(async task)和定时任务(crontab)。

  • 异步任务: 将耗时操作任务提交给Celery去异步执行,比如发送短信/邮件、消息推送、音视频处理等等
  • 定时任务: 定时执行某件事情,比如每天数据统计

3.工作流程和组成部分

这里用一张图片说明下:

Celery的架构由三部分组成,消息中间件(message broker),任务执行单元(worker)和任务执行结果存储(task result store)组成。

消息中间件:

Celery本身不提供消息服务,但是可以方便的和第三方提供的消息中间件集成。包括RabbitMQ, Redis等等,官方推荐用rabbitMQ,因为它持久稳定。

任务执行单元:

WorkerCelery提供的任务执行的单元,worker并发的运行在分布式的系统节点中。

任务结果存储:

Task result store用来存储Worker执行的任务的结果,Celery支持以不同方式存储任务的结果,包括AMQP, redis

另外, Celery还支持不同的并发和序列化的手段。

并发:Prefork, Eventlet, gevent, threads/single threaded

序列化:pickle, json, yaml, msgpack. zlib, bzip2 compression, Cryptographic message signing 等等 先安装模块

pip install celery
pip install redis

4.Celery执行异步任务

4.1 基础使用

这里项目结构如下:

第一步:先创建celery相关配置配置celery_object.py

import celery

# 执行如下命令: celery -A celery_object worker -l info

backend = "redis://127.0.0.1:6379/4"  # 设置redis的4号数据库来存放结果
broker = "redis://127.0.0.1:6379/5"  # 设置redis的5号数据库存放消息中间件
celery_app = celery.Celery(
    "celery_demo",
    backend=backend,
    broker=broker,
    include=[
        "celery_task",
    ],
)

celery_app.conf.task_serializer = "json"
celery_app.conf.result_serializer = "json"
celery_app.conf.accept_content = ["json"]

celery_app.conf.timezone = "Asia/Shanghai"  # 时区
celery_app.conf.enable_utc = False  # 是否使用UTC

参数说明:

  • backend 就是异步任务执行完成以后,结果存放的地方。
  • broker 就是具体执行任务的工作节点。
  • celery.Celery()方法是实例化一个celery对象。

第二步:创建任务相关的文件celery_task.py

import time

from celery_object import celery_app

@celery_app.task
def send_email(name):
    print("向%s发送邮件..." % name)
    time.sleep(5)
    print("向%s发送邮件完成" % name)
    return f"成功拿到{name}发送的邮件!"

@celery_app.task
def send_msg(name):
    print("向%s发送短信..." % name)
    time.sleep(5)
    print("向%s发送短信完成" % name)
    return f"成功拿到{name}发送的短信!"

通过@celery_app.task这样的装饰器,成功的把对应的函数变成对应celery的异步worker函数。

紧接着我们在项目当前所在的目录执行命令:

celery -A celery_object worker -l info
  • -A 指的是application应用对象
  • worker 就是工作人(固定写法)
  • -l 指的是日志级别,这里是打印info级别的日志

之后就可以有下面的输出显示就代表celery动成功:

之后我们就可以向celery生产任务了,创建produce_result.py文件。

from celery_task import send_email, send_msg

if __name__ == "__main__":
    for i in range(10):
        result = send_email.delay(f"张三{i}")
        print(result.id)
        result2 = send_msg.delay(f"李四{i}")
        print(result2.id)

运行生产任务的程序,会看到如下的数据,这里打印的就是任务ID。

然后在终端可以看到下面的东西,就代表celery成功的拿到队列中任务 并进行消费了。

然后打开我们的redis可以看到有对应的数据记录。

与此同时 我们还可以查看celery任务ID的状态check_result.py写入如下:

from celery.result import AsyncResult
from celery_object import celery_app

async_result = AsyncResult(id="d1c722fa-4ebf-432e-967e-a462bdefeac4", app=celery_app)
print("任务状态:", async_result.status)
if async_result.successful():
    result = async_result.get()
    print(result)
    # result.forget() # 将结果删除
elif async_result.failed():
    print("执行失败")
elif async_result.status == "PENDING":
    print("任务等待中被执行")
elif async_result.status == "RETRY":
    print("任务异常后正在重试")
elif async_result.status == "STARTED":
    print("任务已经开始被执行")

运行结果:

任务状态: SUCCESS
成功拿到李四0发送的短信!

到此这篇关于python中celery的基本使用详情的文章就介绍到这了,更多相关python celery内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • python网络爬虫精解之pyquery的使用说明

    python网络爬虫精解之pyquery的使用说明

    PyQuery是一个类似于jQuery的解析网页工具,使用lxml操作xml和html文档,它的语法和jQuery很像。和XPATH,Beautiful Soup比起来,PyQuery更加灵活,提供增加节点的class信息,移除某个节点,提取文本信息等功能
    2021-09-09
  • Python实现合并两个字典的8种方法

    Python实现合并两个字典的8种方法

    Python有多种方法可以通过使用各种函数和构造函数来合并字典,本文主要介绍了Python实现合并两个字典的8种方法,具有一定的参考价值,感兴趣的可以了解一下
    2024-07-07
  • 解决Ubuntu pip 安装 mysql-python包出错的问题

    解决Ubuntu pip 安装 mysql-python包出错的问题

    今天小编就为大家分享一篇解决Ubuntu pip 安装 mysql-python包出错的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-06-06
  • 详解Django中的ifequal和ifnotequal标签使用

    详解Django中的ifequal和ifnotequal标签使用

    这篇文章主要介绍了详解Django中的ifequal和ifnotequal标签使用,Django是重多高人气Python框架中最为著名的一个,需要的朋友可以参考下
    2015-07-07
  • Python3多线程操作简单示例

    Python3多线程操作简单示例

    这篇文章主要介绍了Python3多线程操作,结合实例形式分析了Python3兼容Python2使用_thread进行多线程操作的简单实现技巧,需要的朋友可以参考下
    2018-05-05
  • Python list运算操作代码实例解析

    Python list运算操作代码实例解析

    这篇文章主要介绍了Python list运算操作代码实例解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-01-01
  • python+Tesseract OCR实现截屏识别文字

    python+Tesseract OCR实现截屏识别文字

    pytesseract Python常用pytesseract进行图片上的文字识别,本文主要介绍了python+Tesseract OCR实现截屏识别文字,具有一定的参考价值,感兴趣的可以了解一下
    2023-11-11
  • pycharm安装django框架详细图文教程(指定版本)

    pycharm安装django框架详细图文教程(指定版本)

    这篇文章主要给大家介绍了关于pycharm安装django框架(指定版本)的相关资料,PyCharm是一种Python IDE,带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具,需要的朋友可以参考下
    2023-10-10
  • Python标准库之itertools库的使用方法

    Python标准库之itertools库的使用方法

    Python提供了一个非常棒的模块用于创建自定义的迭代器,这个模块就是 itertools。itertools 提供的工具相当高效且节省内存,下面这篇文章主要给大家介绍了关于Python标准库之itertools库使用的相关资料,需要的朋友可以参考下。
    2017-09-09
  • Python使用itertools模块实现排列组合功能示例

    Python使用itertools模块实现排列组合功能示例

    这篇文章主要介绍了Python使用itertools模块实现排列组合功能,涉及Python基于itertools模块product、permutations与combinations_with_replacement方法进行排列、组合等相关操作实现技巧,需要的朋友可以参考下
    2018-07-07

最新评论