Django后端架构开发：Django 与 Celery 的深度集成

_.Switch2024-08-21 7:08

🚀 Django后端架构开发：Django 与 Celery 的深度集成

📌 Celery 概述与异步处理原理

在现代 Web 应用中，处理异步任务已成为优化性能、提升用户体验的关键。Django 项目中使用 Celery 可以帮助我们实现异步任务处理，显著提高系统的响应速度和扩展性。

Celery 是一个简单、灵活且可靠的分布式任务队列系统，它支持任务的实时处理和定时任务调度。Celery 的工作原理非常简单：它将任务发送到消息队列（如 Redis、RabbitMQ 等），然后由 worker 进行处理。Celery 任务的异步处理，使得主应用可以立即返回响应，而不必等待耗时的任务完成。

示例代码：

python 复制代码 
# project/celery.py

from __future__ import absolute_import, unicode_literals
import os
from celery import Celery

# 设置 Django 的默认设置模块
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'myproject.settings')

# 创建 Celery 应用实例
app = Celery('myproject')

# 使用 Django 的设置模块配置 Celery
app.config_from_object('django.conf:settings', namespace='CELERY')

# 自动从所有已注册的 Django app 中加载任务
app.autodiscover_tasks()

@app.task(bind=True)
def debug_task(self):
    print(f'Request: {self.request!r}')

代码解析：

  • Celery 实例的创建：在 project/celery.py 中，首先设置 Django 的默认配置模块，然后创建一个 Celery 实例。通过 config_from_object 方法，将 Celery 的配置与 Django 的配置集成，确保 Celery 可以使用 Django 中的相关配置项。

  • autodiscover_tasks 方法：这个方法会自动从所有已注册的 Django app 中查找任务（tasks.py），让我们不需要手动添加每个任务的路径。

  • @app.task 装饰器：通过这个装饰器，我们可以将一个普通函数变成一个 Celery 任务，使其可以被异步调用。

Celery 的工作流程可以简要概括为以下几个步骤：任务定义、任务发送、任务消费与执行。异步处理的核心思想在于任务被调度到一个消息队列中，Worker 进程从队列中获取任务并执行，而主进程可以继续处理其他请求。

📌 Celery 任务队列与 Redis 任务管理

在 Celery 中，消息队列用于在生产者（任务发起者）和消费者（任务执行者）之间传递任务。Celery 支持多种消息队列，包括 Redis、RabbitMQ 等。在本节中，我们将重点讨论如何在 Django 项目中使用 Redis 作为 Celery 的消息队列。

示例代码：

python 复制代码 
# settings.py

# 配置 Celery 的消息队列为 Redis
CELERY_BROKER_URL = 'redis://localhost:6379/0'
CELERY_RESULT_BACKEND = 'redis://localhost:6379/0'
CELERY_ACCEPT_CONTENT = ['json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
CELERY_TIMEZONE = 'Asia/Shanghai'

代码解析：

  • CELERY_BROKER_URL：指定消息队列的连接地址，这里使用 Redis 作为消息队列，Redis 的地址为 redis://localhost:6379/0。

  • CELERY_RESULT_BACKEND：指定任务结果的存储后端，这里同样使用 Redis 来保存任务的执行结果。

  • CELERY_ACCEPT_CONTENT、CELERY_TASK_SERIALIZER、CELERY_RESULT_SERIALIZER：这三个配置项分别指定了任务内容的接受格式、任务序列化器和结果序列化器。为了提高性能和兼容性，这里选择使用 json 作为序列化格式。

  • CELERY_TIMEZONE：设置 Celery 使用的时区，与 Django 的时区配置保持一致。

使用 Redis 作为 Celery 的消息队列和结果后端，可以提供高效、可靠的任务队列服务。Redis 的内存存储特性，使得任务的存取速度非常快，适合需要处理大量短任务的应用场景。

拓展：Redis 的持久化与数据恢复

虽然 Redis 是内存数据库，但它也支持持久化机制，可以将数据存储到磁盘，以防服务器重启导致数据丢失。以下是 Redis 持久化的基本配置示例：

bash 复制代码 
# redis.conf

# RDB 快照持久化
save 900 1   # 在 900 秒内有 1 个 key 改变时保存快照
save 300 10  # 在 300 秒内有 10 个 key 改变时保存快照
save 60 10000  # 在 60 秒内有 10000 个 key 改变时保存快照

# AOF 日志持久化
appendonly yes
appendfilename "appendonly.aof"

通过结合 RDB 和 AOF 两种持久化机制，Redis 可以在保证高性能的同时，提供一定的数据持久化能力，确保任务队列的可靠性。

📌 Celery 生产者与消费者模式

在 Celery 中，生产者负责发送任务，消费者（Worker）负责从消息队列中消费任务并执行。生产者与消费者的分离，使得任务处理可以分布在多个节点上，提高了系统的扩展性和容错能力。

生产者（Producer）示例代码：

python 复制代码 
# tasks.py

from celery import shared_task
from .models import Article

@shared_task
def generate_article_summary(article_id):
    article = Article.objects.get(id=article_id)
    # 假设我们有一个函数用于生成文章摘要
    article.summary = generate_summary(article.content)
    article.save()

消费者（Worker）示例代码：

bash 复制代码 
# 启动 Worker 进程
celery -A myproject worker --loglevel=info

代码解析：

  • @shared_task 装饰器：通过 @shared_task 装饰器，我们可以将 generate_article_summary 函数标记为一个 Celery 任务。这意味着它可以被 Celery 异步调用，并由 Worker 进程执行。

  • 启动 Worker 进程：通过 celery -A myproject worker --loglevel=info 命令，我们可以启动一个 Celery Worker 进程，该进程会自动从 Redis 消息队列中获取任务并执行。

生产者与消费者模式的核心思想在于解耦任务的发送与执行。生产者只负责将任务发送到消息队列，而不关心任务的执行时间和结果。消费者从消息队列中获取任务并执行，可以根据任务的数量和复杂度动态调整 Worker 的数量，以提高系统的吞吐量和响应速度。

拓展：使用 Celery Beat 进行定时任务调度

除了手动触发的任务外，Celery 还支持定时任务调度。我们可以使用 Celery Beat 组件来定期调度任务执行。以下是一个定时任务的配置示例：

python 复制代码 
# settings.py

from celery.schedules import crontab

CELERY_BEAT_SCHEDULE = {
    'generate-daily-reports': {
        'task': 'myapp.tasks.generate_daily_reports',
        'schedule': crontab(hour=7, minute=30),
    },
}

通过 Celery Beat，我们可以轻松实现类似于 cron 的定时任务调度，使得任务执行更加灵活和自动化。

📌 Celery 异步任务调用与 Celery 启动

在 Django 项目中，我们可以通过异步调用 Celery 任务，实现任务的并行处理，提高系统的性能和响应速度。接下来，我们将探讨如何在 Django 中调用 Celery 任务，以及如何启动 Celery 服务。

异步任务调用示例代码：

python 复制代码 
# views.py

from django.http import JsonResponse
from .tasks import generate_article_summary

def generate_summary_view(request, article_id):
    result = generate_article_summary.delay(article_id)
    return JsonResponse({'task_id': result.id, 'status': 'Task is being processed'})

Celery 服务启动命令：

bash 复制代码 
# 启动 Celery Worker
celery -A myproject worker --loglevel=info

# 启动 Celery Beat（可选，用于定时任务）
celery -A myproject beat --loglevel=info

代码解析：

  • delay() 方法：delay() 是 Celery 提供的一个快捷方法，用于异步调用任务。它会立即返回一个 AsyncResult 对象，通过该对象可以查询任务的状态和结果。

  • 启动 Celery 服务：在启动 Celery Worker 之前，需要确保消息队列（如 Redis）已经启动。Worker 会自动从消息队列中获取任务并执行。在需要定时任务调度的场景中，可以同时启动 Celery Beat。

通过异步调用任务，我们可以将耗时的操作（如复杂的数据处理、第三方接口调用等）放在后台处理，

主进程可以立即返回响应，从而显著提升用户体验。

拓展：使用 AsyncResult 获取任务状态与结果

当我们异步调用任务时，Celery 会返回一个 AsyncResult 对象。我们可以通过这个对象来获取任务的执行状态和结果。以下是一个获取任务结果的示例：

python 复制代码 
# views.py

from django.http import JsonResponse
from celery.result import AsyncResult

def get_task_status(request, task_id):
    result = AsyncResult(task_id)
    if result.ready():
        return JsonResponse({'status': 'Task completed', 'result': result.result})
    else:
        return JsonResponse({'status': 'Task is still processing'})

通过 AsyncResult 对象，我们可以轻松查询任务的状态和结果，使得异步任务的管理更加灵活和高效。

📌 Celery 异步任务配置与 Task 编写

在 Django 项目中，配置 Celery 异步任务是确保任务正确执行的关键步骤。在本节中，我们将探讨如何配置 Celery 任务，并编写实际的任务代码。

Celery 配置示例代码：

python 复制代码 
# settings.py

# 配置 Celery
CELERY_BROKER_URL = 'redis://localhost:6379/0'
CELERY_RESULT_BACKEND = 'redis://localhost:6379/0'
CELERY_ACCEPT_CONTENT = ['json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
CELERY_TIMEZONE = 'Asia/Shanghai'

Task 编写示例代码：

python 复制代码 
# tasks.py

from celery import shared_task
import time

@shared_task
def long_running_task(duration):
    """模拟一个长时间运行的任务"""
    time.sleep(duration)
    return f'Task completed after {duration} seconds'

代码解析：

  • Celery 配置：在 settings.py 中配置 Celery 的消息队列、结果后端和序列化器。确保 Celery 可以正确连接到 Redis 并处理任务。

  • Task 编写：在 tasks.py 中定义任务函数，并使用 @shared_task 装饰器将其标记为 Celery 任务。这里的 long_running_task 是一个模拟长时间运行的任务，通过 time.sleep 来模拟任务的耗时操作。

通过合理配置 Celery，我们可以确保任务的执行效率和稳定性。同时，编写任务代码时需要注意任务的幂等性和错误处理，确保在任务失败时可以安全重试。

拓展：任务重试与错误处理

Celery 提供了内置的任务重试机制，可以在任务失败时自动重试。以下是一个任务重试的示例：

python 复制代码 
# tasks.py

from celery import shared_task
from celery.exceptions import MaxRetriesExceededError

@shared_task(bind=True, max_retries=3, default_retry_delay=5)
def task_with_retry(self):
    try:
        # 模拟可能会失败的操作
        result = some_operation()
        return result
    except Exception as exc:
        raise self.retry(exc=exc)

通过 retry 方法，我们可以轻松实现任务的重试逻辑，确保任务在失败后可以再次执行，提高任务的成功率。

相关推荐
Kai HVZ5 分钟前
python爬虫----爬取视频实战
爬虫·python·音视频
古希腊掌管学习的神8 分钟前
[LeetCode-Python版]相向双指针——611. 有效三角形的个数
开发语言·python·leetcode
m0_7482448311 分钟前
StarRocks 排查单副本表
大数据·数据库·python
B站计算机毕业设计超人17 分钟前
计算机毕业设计PySpark+Hadoop中国城市交通分析与预测 Python交通预测 Python交通可视化 客流量预测 交通大数据 机器学习 深度学习
大数据·人工智能·爬虫·python·机器学习·课程设计·数据可视化
路人甲ing..20 分钟前
jupyter切换内核方法配置问题总结
chrome·python·jupyter
游客52031 分钟前
opencv中的常用的100个API
图像处理·人工智能·python·opencv·计算机视觉
每天都要学信号1 小时前
Python(第一天)
开发语言·python
搬码后生仔1 小时前
asp.net core webapi项目中 在生产环境中 进不去swagger
chrome·后端·asp.net
凡人的AI工具箱1 小时前
每天40分玩转Django：Django国际化
数据库·人工智能·后端·python·django·sqlite
鸭梨山大。1 小时前
Jenkins安全部署规范及安全基线
安全·中间件·jenkins
热门推荐
01【一文读懂】NTN（非地面网络）技术介绍02优化手机性能，解决卡顿问题：关闭这3个微信开关，释放内存空间03玄机平台应急响应—webshell查杀04Cube-Studio：开源大模型全链路一站式中台05基于大语言模型（LLM）的合成数据生成、策展和评估的综述06(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明07组基轨迹建模 GBTM的介绍与实现（Stata 或 R）08HCIA-datacom数通题库和录播视频资料09Docker 夺命连环 15 问10RAG 实践- Ollama+RagFlow 部署本地知识库