Django中使用celery实现异步任务、延时任务、周期定时任务

配置celery

1. 安装以下环境

bash 复制代码
pip install celery
pip install redis
pip install eventlet # celery 4.0+版本以后不支持在windows运行,还需额外安装eventlet库

本文环境为:python3.9.4+Django4.2.11+celery5.3.6+redis5.0.3

2. 配置setting.py文件

在setting.py文件中加入以下代码

python 复制代码
# 设置redis消息队列
CELERY_BROKER_URL = 'redis://127.0.0.1:6379/10'

# celery内容等消息的格式设置,默认json
CELERY_ACCEPT_CONTENT = ['application/json', ]
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'

# 时间格式化为中国时间
CELERY_TIMEZONE = 'Asia/Shanghai'
# 是否使用UTC时间
CELERY_ENABLE_UTC = False

# 为存储结果设置过期日期,默认1天过期。如果beat开启,Celery每天会自动清除。
# 设为0,存储结果永不过期
CELERY_RESULT_EXPIRES = 60 * 60 * 24

# 任务限流
CELERY_TASK_ANNOTATIONS = {'tasks.add': {'rate_limit': '2/s'}}

# Worker并发数量,一般默认CPU核数,可以不设置
CELERY_WORKER_CONCURRENCY = 2

3. 在setting.py的同级目录新建一个celery_work.py文件,加入以下代码

python 复制代码
import os
from celery import Celery
from celery.schedules import crontab
from datetime import timedelta

# 设置环境变量
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'project_name.settings')

# 实例化,需要改成自己的项目名称
app = Celery('project_name')

# namespace='CELERY'作用是允许你在Django配置文件中对Celery进行配置
# 但所有Celery配置项必须以CELERY开头,防止冲突
app.config_from_object('django.conf:settings', namespace='CELERY')

# 自动从Django的已注册app中发现任务
app.autodiscover_tasks()

4.在setting.py所在目录中的__init__文件中加入以下代码

python 复制代码
from .celery_work import app as celery_app

__all__ = ('celery_app',)

实现异步任务

1. 创建任务函数

(1)新建一个tasks模块

(2)在tasks模块下创建tasks.py文件,并编写任务函数代码:

python 复制代码
from celery import shared_task
from time import sleep

@shared_task
def test_celery_task1():
    print("test_celery_task1")

@shared_task
def test_celery_task2(x, y):
    sleep(10)
    print(f"test_celery_task2---->{x}, {y}")

(3)新建一个app,添加url, 在view.py文件中调用任务函数

python 复制代码
from rest_framework import status
from rest_framework.views import APIView
from rest_framework.response import Response
from tasks.tasks import test_celery_task1, test_celery_task2

class TestView(APIView):
    def get(self, request):
        test_celery_task2.apply_async(args=[111, 222])
        test_celery_task1.apply_async(args=[])
        return Response({'message': 'test success'}, status=status.HTTP_200_OK)

现在可在终端输入以下命令启动worker:

bash 复制代码
celery -A celery_study worker -l info -P eventlet # celery_study为项目名称

出现以下内容就是配置成功

运行项目后可在postman测试,得到以下结果:

实现延时任务

1.通过直接设置执行时间

eta参数为指定执行时间

python 复制代码
class TestView(APIView):
    def get(self, request):
        # test_celery_task2.apply_async(args=[111, 222])
        ctime = datetime.now()
        # 默认使用utc时间
        utc_time = datetime.utcfromtimestamp(ctime.timestamp())
        task_delay = timedelta(seconds=10) # 定义时间间隔
        task_time = utc_time + task_delay
        print(f"任务时间:{task_time}")
        test_time_task.apply_async(args=[ctime], eta=task_time) # 10秒后执行

        # test_celery_task1.apply_async(args=[])
        return Response({'message': 'test success'}, status=status.HTTP_200_OK)

2.通过设置延时时间

countdown参数为延时时间:

python 复制代码
class TestView(APIView):
    def get(self, request):
        # test_celery_task2.apply_async(args=[111, 222])
        ctime = datetime.now()
        test_time_task.apply_async(args=[ctime], countdown=10) # 10秒后执行
        # test_celery_task1.apply_async(args=[])
        return Response({'message': 'test success'}, status=status.HTTP_200_OK)

测试结果如下,执行时间延迟了10秒

实现周期定时任务

1.定义任务函数

python 复制代码
@shared_task
def test_scheduled_task(x, y):
    print(f'10秒执行一次---参数:{x},{y}')

2. 在celery_work.py文件中加入以下代码

python 复制代码
# 导入库
from datetime import timedelta
# 设置定时任务
app.conf.beat_schedule = {
    'scheduled_task': {
        'task': 'celery_app.tasks.scheduled_task', # 任务函数
        'schedule': timedelta(seconds=10), # 每10秒钟执行一次
        'args': () # 任务函数的参数
    },
}

还可使用crontab定义周期:

python 复制代码
app.conf.beat_schedule = {
    'scheduled_task': {
        'task': 'celery_app.tasks.scheduled_task',
        'schedule': timedelta(seconds=10), # 每10秒钟执行一次
        'args': ()
    },
    'scheduled_task2': {
            'task': 'tasks.tasks.test_celery_task',
            'schedule': crontab(minute='*/1'), # 每1分钟执行一次
            'args': (111, 222) # 参数
        },

}

开两个终端,分别执行以下两条命令即可:

bash 复制代码
# celery_study为项目名称
celery -A celery_study worker -l info -P eventlet # 启动worker命令
celery -A celery_study beat # 启动定时调度器命令
相关推荐
IT_10241 小时前
Spring Boot项目开发实战销售管理系统——系统设计!
大数据·spring boot·后端
ai小鬼头2 小时前
AIStarter最新版怎么卸载AI项目?一键删除操作指南(附路径设置技巧)
前端·后端·github
Touper.2 小时前
SpringBoot -- 自动配置原理
java·spring boot·后端
思则变3 小时前
[Pytest] [Part 2]增加 log功能
开发语言·python·pytest
一只叫煤球的猫3 小时前
普通程序员,从开发到管理岗,为什么我越升职越痛苦?
前端·后端·全栈
一只鹿鹿鹿3 小时前
信息化项目验收,软件工程评审和检查表单
大数据·人工智能·后端·智慧城市·软件工程
漫谈网络3 小时前
WebSocket 在前后端的完整使用流程
javascript·python·websocket
专注VB编程开发20年3 小时前
开机自动后台运行,在Windows服务中托管ASP.NET Core
windows·后端·asp.net
程序员岳焱3 小时前
Java 与 MySQL 性能优化:MySQL全文检索查询优化实践
后端·mysql·性能优化
一只叫煤球的猫4 小时前
手撕@Transactional!别再问事务为什么失效了!Spring-tx源码全面解析!
后端·spring·面试