Django的异步任务队列管理_Celery

1 基本原理

Celery 是一个异步任务队列,能够将耗时操作(如发邮件、处理图片、网络爬虫等)从 Django 主线程中分离出来,由后台的 worker 处理,避免阻塞请求。Celery 作为独立运行的后台进程(Worker),持续监听消息队列(Broker),接收并处理任务,而 Django 主线程用于发布任务。

Celery 是一种独立于 Django 的程序,通常需手动启动。它通过 Redis 等工具与主线程进行通信,并将任务进度和结果写入数据库,方便后续追溯。

基本流如下:

1.1 消息中间件 Broker

Django 和 Celery 通过消息中间件(Broker)进行通信,最常用的选择是 Redis 或 RabbitMQ,因为它们速度快且稳定。如果可以接受安装 Redis(在本地启动只需一条命令),建议直接使用它。当然,还可以考虑其他替代方案。

以批处理为例,时序图如下:

2 memory 方式实现

为了简化步骤,我先测试了 memory 方法。

2.1 安装 Celery

复制代码
$ pip install celery

2.2 加入项目

  • 创建 myproject/my_celery.py 文件,内容如下:

    import os
    from celery import Celery

    os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'myproject.settings')

    app = Celery('myproject') # 注意改成自己的 myproject 名

    app.conf.broker_url = 'memory://'
    app.conf.result_backend = 'cache+memory://'

    app.autodiscover_tasks()

  • 在 myproject/__init__.py 里加入:

    from .my_celery import app as celery_app all = ['celery_app']`

2.3 异步功能函数

添加异步功能:在应用的 tasks.py 中定义任务:

复制代码
from celery import shared_task

@shared_task
def add(x, y):
    print(f"Adding {x} + {y}")
    return x + y

调用异步功能:

复制代码
from myapp.tasks import add

add.delay(2, 3)

注意:由于 memory 维护不佳,建议直接使用 Redis。

3 redis 方式实现

3.1 使用 docker 方式安装 redis

复制代码
docker run -d --name redis-dev -p 6379:6379 redis

3.2 安装 redis 包

复制代码
pip install redis

3.3 修改代码

替换设置部分:

复制代码
app.conf.update(
    broker_url='redis://localhost:6379/0', # 如果在docker中使用,需要转换成宿主机ip
    result_backend='redis://localhost:6379/1',
    task_serializer='json',
    accept_content=['json'],
    timezone='Asia/Shanghai',
    enable_utc=True,
)

3.4 启动 celery

一般情况下,需要手动启动 celery 进程

复制代码
celery -A your_project worker --loglevel=info
相关推荐
菜鸟~noob2333 天前
[AI]间章:系列走到这里,聊聊后面的规划、造卡需要的软件平台,以及为什么我要先暂停更新
人工智能·python·fpga开发·django·pygame
承渊政道6 天前
【Python编程—从入门到实践】(用户账户:给Django网站装上登录系统,让每个人拥有自己的学习笔记)
python·学习·pycharm·django
承渊政道6 天前
【Python编程—从入门到实践】(设置样式并部署:给Django网站换新装,把学习笔记发布到互联网)
python·学习·pycharm·django
FYKJ_20107 天前
springboot同人周边订单管理系统48955-计算机毕业设计、课程设计
java·javascript·vue.js·spring boot·django·php·课程设计
yuyuxun17 天前
协同过滤的校园二手物品智能推荐系统的设计与实现 毕业设计-附源码40082
javascript·vue.js·spring boot·python·数据分析·django·课程设计
treasure1408 天前
【复古】浅尝Django前后端不分离
前端·css·python·django·bootstrap·html·web
实名上网宋凯宣18 天前
Django
后端·python·django
汤米粥19 天前
cmd手动创建的Django项目怎么用社区版Pycharm运行起来
python·pycharm·django
Rambo.Fan19 天前
02 · 重建与修复手册(新服务器 playbook)
运维·服务器·django
雨晨源码(同名B站)20 天前
深度学习毕业设计选题推荐:基于YOLO11的交通标志检测系统设计与实现(Python+Django+Vue3+对接deepseek)
人工智能·python·深度学习·机器学习·django·课程设计