Django-rest-framework(DRF)怎么使用celery

目录

一、什么是celery

1、celery简介

2、celery的使用场景

3、celery的架构

二、Django使用celery

1、安装celery

2、Django配置

三、定时任务和异步任务


一、什么是celery

1、celery简介

Celery是一个基于Python开发的分布式异步消息任务队列,它专注于实时处理的异步任务队列,同时也支持任务调度。Celery的设计哲学是简单、灵活且可靠,能够处理大量消息,适用于多种场景下的任务调度和执行。celery官网是:Celery - Distributed Task Queue --- Celery 5.4.0 documentation (celeryq.dev)

2、celery的使用场景

异步任务:将耗时操作任务提交给Celery去异步执行,比如发送短信/邮件、消息推送、音视频处理等等。

定时任务:利用Celery的定时任务功能,可以定时执行某些任务,如每天的数据统计、定时清理缓存等。

分布式任务调度:在分布式系统中,Celery可以作为任务调度的中心,协调各个节点上的任务执行。在分布式系统中,Celery可以作为任务调度的中心,协调各个节点上的任务执行。

3、celery的架构

消息中间件(Broker):作为任务的中间人(Broker),负责接收和分发任务消息。Celery本身不提供消息中间件,但可以与第三方提供的消息中间件集成,如RabbitMQ、Redis等。

任务执行单元(Worker):是Celery处理任务的执行单元,Worker并发的运行在分布式的系统节点中,持续不断地监视任务队列,并从中获取新的任务进行处理。

任务执行结果存储(backend):用于存储Worker执行的任务结果,Celery支持以不同方式存储任务的结果,如Mysql、Redis等。

二、Django使用celery

1、安装celery

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple celery

如果是window系统还需要安装一个eventlet库

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple eventlet

2、Django配置

在settings文件下配celery

CELERY_BROKER_URL = 'redis://127.0.0.1:6379/2'  # broker的配置
CELERY_RESULT_BACKEND = 'redis://127.0.0.1:6379/3'  # backend的配置
CELERY_ACCEPT_CONTENT = ['json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
CELERY_TIMEZONE = 'Asia/Shanghai'  # 时区配置
CELERY_TASK_RESULT_EXPIRES = 60*60*24  # 任务过期时间

新建celery.py文件,必须与settings.py同级目录,再在celery.py里面写入下面代码,其中第3行代码的setting

import os

from celery import Celery

os.environ.setdefault("DJANGO_SETTINGS_MODULE", "house.settings")#将house换成你自己的项目名字

app = Celery('proj')

app.config_from_object('django.conf:settings', namespace='CELERY')

app.autodiscover_tasks()

在同级的__init__.py文件里写入下面代码

from .celery import app as celery_app

__all__ = ('celery_app',)

然后在app目录下新建task.py文件,这个文件是我们要执行的异步任务,定时任务这些,只能用task命名,为了区别是clery执行的任务所以我们还需给这个函数加上装饰器@shared_task,当然这里面的函数是我们自己定义的,可以是发送邮件等其它逻辑,但是必须要加上装饰器。

from celery import shared_task


@shared_task
def add(x,y):
    return x+y

提交任务到消息中间件,所以我们需要用到Django视图函数来执行这个函数delay是执行异步任务的,add的参数也需要写到delay里面,执行这个视图函数并不是运行了,只是提交了运行这个函数的任务

class AddView(APIView):
    def get(self, request):
        sum_ = add.delay(1, 2)  # add是函数的名字,delay是提交异步任务到队列中,但是还没有执行
        print(sum_)
        print(sum_.get())
        return Response(data='ok')

要执行这个任务需要celery的worker,所以我们要在终端输入以下命令来启动worker

celery -A house worker -l info -P eventlet  #要将house换成django项目的名字

切换到django终端看视图的执行结果,这样就运行成功了成功了,在切换django的终端查看运行结果

三、定时任务和异步任务

sum_ = add.delay(1, 2)  #delay提交异步任务
sum_ = add.apply_async(args=[1,2],eta='什么时候执行')  #apply_async表示定时任务
相关推荐
yyfhq39 分钟前
sdnet
python
测试19981 小时前
2024软件测试面试热点问题
自动化测试·软件测试·python·测试工具·面试·职场和发展·压力测试
love_and_hope1 小时前
Pytorch学习--神经网络--搭建小实战(手撕CIFAR 10 model structure)和 Sequential 的使用
人工智能·pytorch·python·深度学习·学习
小码编匠1 小时前
一款 C# 编写的神经网络计算图框架
后端·神经网络·c#
AskHarries1 小时前
Java字节码增强库ByteBuddy
java·后端
海阔天空_20131 小时前
Python pyautogui库:自动化操作的强大工具
运维·开发语言·python·青少年编程·自动化
佳佳_1 小时前
Spring Boot 应用启动时打印配置类信息
spring boot·后端
零意@1 小时前
ubuntu切换不同版本的python
windows·python·ubuntu
思忖小下2 小时前
Python基础学习_01
python
q567315232 小时前
在 Bash 中获取 Python 模块变量列
开发语言·python·bash