Python从入门到精通day56

异步任务与计划任务------Celery实战

Celery应用实践

Celery是一款兼具简洁性、灵活性与高可靠性的分布式消息处理系统，配套完备的运维管控工具，核心聚焦实时任务队列调度，同时支持定时任务编排，是Django项目中处理耗时业务、周期性运维任务的主流解决方案。

参考资料：《Celery官方中文文档》，文档涵盖完整配置规范、进阶应用场景与故障排查方案，适用于深度技术学习与落地实践。

Celery架构说明 ：Celery本身不具备消息队列存储能力，需依托第三方中间件实现任务的缓存与转发。官方推荐选用RabbitMQ 或Redis作为消息代理（Broker），其中RabbitMQ对AMQP（高级消息队列协议）实现更成熟，在稳定性、吞吐量与消息可靠性方面表现更优，为生产环境标准选型。

一、环境部署：RabbitMQ安装与权限配置

采用Docker容器化方案快速部署RabbitMQ，规避原生安装的复杂依赖与环境适配问题，具体实施步骤如下：

1. 镜像拉取与容器启动

复制代码

docker pull rabbitmq
docker run -d -p 5672:5672 --name myrabbit rabbitmq
# 进入容器内部执行权限配置
docker container exec -it myrabbit /bin/bash

2. 用户创建、虚拟主机配置与权限分配

为Celery创建专用服务账号并精细化授权，实现多项目任务队列隔离，避免资源冲突与权限越界：

复制代码

# 创建专用用户（用户名:luohao 密码:123456）
rabbitmqctl add_user luohao 123456
# 赋予用户管理员角色，授予全量操作权限
rabbitmqctl set_user_tags luohao administrator
# 创建虚拟主机vhost1，实现任务队列资源隔离
rabbitmqctl add_vhost vhost1
# 为用户分配vhost1的配置、写入、读取全权限
rabbitmqctl set_permissions -p vhost1 luohao ".*" ".*" ".*"

二、Django项目集成Celery

1. Celery实例初始化

在Django项目根目录创建celery.py文件，编写实例初始化代码，需将文档中项目名替换为实际项目名称，确保配置与项目匹配：

复制代码

import os
import celery
from django.conf import settings

# 注册Django环境变量，加载项目配置文件
os.environ.setdefault('DJANGO_SETTINGS_MODULE', '项目名.settings')

# 创建Celery实例，指定项目标识与消息代理连接地址
app = celery.Celery(
    'fangtx',
    broker='amqp://luohao:123456@1.2.3.4:5672/vhost1'
)

# 方式一：从Django配置文件加载Celery全局参数
# app.config_from_object('django.conf:settings')
# 方式二：从独立配置文件加载Celery参数
# app.config_from_object('celery_config')

# 自动任务发现：扫描所有已注册Django应用中的tasks.py文件
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

2. Celery Worker（任务消费者）启动

Worker作为任务执行单元，负责监听消息队列并异步处理任务，启动命令如下（需将替换为Celery实例名称）：

复制代码

celery -A <name> worker -l debug

参数说明：-A用于指定Celery实例所属模块；-l debug设置日志级别为调试模式，便于开发阶段排查问题；&表示进程后台运行，释放终端资源。

三、异步任务开发与调用

1. 异步任务定义

在目标Django应用目录下创建tasks.py文件，编写异步任务逻辑，以邮件发送任务为例，规范任务定义与注释：

复制代码

# 导入Celery实例
from .celery import app

# 通过装饰器标记函数为异步任务，交由Celery调度执行
@app.task
def send_email(from_user, to_user, cc_user, subject, content):
    """
    异步邮件发送任务
    :param from_user: 发件人信息
    :param to_user: 收件人列表
    :param cc_user: 抄送人列表
    :param subject: 邮件主题
    :param content: 邮件正文内容
    """
    # 此处实现实际邮件发送业务逻辑
    pass

2. 异步任务调用（消息生产者）

在业务视图或核心逻辑代码中，通过delay()方法提交任务，任务将自动加入消息队列，由空闲Worker异步消费执行，不阻塞主流程：

复制代码

# 调用异步任务，传入参数需与任务函数形参严格匹配
send_email.delay('', [], [], '', '')

四、定时任务（计划任务）配置

1. 定时任务规则配置

在celery.py文件中添加定时任务配置，通过crontab定义执行周期，需提前导入相关依赖模块，确保时区与项目一致：

复制代码

from celery.schedules import crontab

# 定时任务全局配置
app.conf.update(
    timezone=settings.TIME_ZONE,  # 时区与Django项目保持一致，避免时间偏差
    enable_utc=True,  # 启用UTC时间校准，提升跨时区任务准确性
    # 定时任务本质为消息生产者，需确保Worker正常运行，否则任务将在队列积压
    # 生产环境中，生产者、消费者、消息队列可部署于独立服务器节点，实现分布式扩容
    beat_schedule={
        'task1': {
            'task': 'common.tasks.scheduled_task',  # 任务完整路径
            'schedule': crontab('*', '*', '*', '*', '*'),  # 每分钟执行一次
            'args': ('...', )  # 任务传入参数
        },
    },
)

2. 定时任务函数定义

在对应应用的tasks.py文件中，编写周期性执行的任务逻辑，适配定时调度规则：

复制代码

from .celery import app

@app.task
def scheduled_task(*args, **kwargs):
    """
    定时任务业务逻辑
    """
    # 此处实现周期性执行的业务代码
    pass

3. Celery Beat（定时任务生产者）启动

Beat进程负责按照预设时间规则，将定时任务精准推送至消息队列，启动命令如下（需将替换为Celery实例名称）：

复制代码

celery -A <name> beat -l info

五、队列监控与运维管理

1. RabbitMQ队列状态查询

进入RabbitMQ容器，查看指定虚拟主机的队列积压量、任务状态，快速定位队列异常：

复制代码

rabbitmqctl list_queues -p vhost1

2. Flower可视化监控部署

通过Flower组件实现Celery集群可视化监控，实时查看任务执行状态、Worker存活情况与集群负载，安装与启动命令如下：

复制代码

# 安装Flower监控组件
pip install flower
# 启动Flower服务，指定消息代理连接地址
celery flower --broker=amqp://luohao:123456@120.77.222.217:5672/vhost1

服务启动后，访问http://服务器IP:5555即可进入可视化监控面板，实现集群一站式管控。

运维注意事项：生产环境需关闭调试日志，降低磁盘开销；采用Supervisor、systemd等进程守护工具管理Worker与Beat进程，防止服务异常终止；建立队列积压清理与任务重试机制，保障系统长期稳定运行。

国内直接使用顶级AI工具

谷歌浏览器访问：

https://www.nezhasoft.cloud/r/vMPJZr