Django结合Celery进行异步调用

目录

Celery介绍

相关环境

相关配置

1、在proj/proj/目录下创建一个新的celery.py模块

[定义 Celery 实例:](#定义 Celery 实例:)

[2、在proj/proj/init.py 模块中导入这个应用程序。](#2、在proj/proj/init.py 模块中导入这个应用程序。)

3、在各自模块中定义任务文件tasks.py

4、settings.py配置

服务启动

异步调用


Celery介绍

Celery 是一个简单,灵活且可靠的分布式系统,可以处理大量消息。它是一个任务队列,着重于实时处理,同时还支持任务调度。

Celery 可以做队列、异步调用、解耦、高并发、流量削峰、定时任务等等

一个 Celery 系统可以由多个 worker 和 broker 组成,从而实现高可用性和横向扩展。

Celery既可以独立使用,也可以结合Django使用

原理:celery将待处理任务扔进消息队列,然后由worker进程进行消费

相关环境

复制代码
Python 3.8
django-celery-beat==2.5.0
django-celery-results==2.5.1
celery==5.2.7
redis==4.6.0

此文中用redis做消息队列,用Mysql5.7保存执行结果

相关配置

Django 项目布局如下:

bash 复制代码
- proj/
  - manage.py
  - proj/
    - __init__.py
    - settings.py
    - urls.py

1、在proj/proj/目录下创建一个新的celery.py模块

定义 Celery 实例:

bash 复制代码
import os

from celery import Celery

# Set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'proj.settings')

app = Celery('proj')

# Using a string here means the worker doesn't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
#   should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django apps.
app.autodiscover_tasks()


@app.task(bind=True, ignore_result=True)
def debug_task(self):
    print(f'Request: {self.request!r}')
复制代码
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'proj.settings') 将设置模块传递给设置模块传递给celery程序
app.config_from_object('django.conf:settings', namespace='CELERY')从配置文件中获取以CELERY开头的配置

2、在proj/proj/__init__.py 模块中导入这个应用程序。

主要是为了应用程序在 Django 启动时加载,以便@shared_task装饰器:

proj/proj/__init__.py

bash 复制代码
# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app

__all__ = ('celery_app',)

3、在各自模块中定义任务文件tasks.py

Celery 会自动从tasks.py发现这些任务

bash 复制代码
#一个简单的tasks任务

from celery import shared_task


@shared_task
def add(x, y):
    return x + y

目录结构如下

bash 复制代码
- proj/
  - manage.py
  - proj1/
    - tasks.py
    - admin.py
    - models.py
    - views.py
    - tests.py
    - apps.py
  - proj/
    - __init__.py
    - settings.py
    - celery.py
    - urls.py

4、settings.py配置

bash 复制代码
CELERY_BROKER_URL= xxxx.xxx.xxx.xxx
# 消息队列地址,可以是redis、mq、mysql等等
CELERY_ACCEPT_CONTENT = ['json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_TIMEZONE = "Asia/Shanghai"
CELERY_TASK_TRACK_STARTED = True
CELERY_TASK_TIME_LIMIT = 30 * 60
CELERY_ENABLE_UTC = False
DJANGO_CELERY_BEAT_TZ_AWARE = False
CELERY_BEAT_SCHEDULER = 'django_celery_beat.schedulers:DatabaseScheduler'
CELERY_RESULT_BACKEND = 'django-db'
# 任务执行结果保存方式
CELERY_RESULT_BACKEND_TRANSPORT_OPTIONS= {
    'global_keyprefix': '{}_celery_prefix_'.format(ENV_PROFILE)
}
CELERYD_CONCURRENCY = 5
# 执行任务的并发工作进程/线程/线程的数量。
CELERYD_MAX_TASKS_PER_CHILD = 100
# 任务池工作进程在被新进程替换之前可以执行的最大任务数。默认没有限制。
CELERYD_FORCE_EXECV = True

CELERY_TASK_TRACK_STARTED:当True时,任务判断是否将其状态报告为"已启动"。默认值是False。任何长时间运行任务并且需要报告当前正在运行的任务。

CELERY_TASK_TIME_LIMIT:任务时间限制(以秒为单位)。当超过这个值时,处理任务进程将被杀死并被新的进程取代。

CELERY_ACCEPT_CONTENT:收到的消息进行序列化,默认情况下仅启用 json,但可以添加任何内容类型,包括 pickle 和 yaml;

注意:

1、celery从4.0引入了小写配置,但是从 Django 设置模块加载 Celery 配置,需要继续使用大写名称。而且还需要使用CELERY_前缀,以便 Celery 设置不会与其他应用程序使用的 Django 设置发生冲突。

2、用Mysql5.7作为任务结果存储,数据库设置为utf8,如果使用utf8mb4无法成功创建相关表

服务启动

bash 复制代码
celery -A proj worker -l INFO
#定时任务启动方式如下:
celery -A itmanager beat 

异步调用

views.py代码如下

bash 复制代码
#一个简单的tasks任务

from proj1.tasks import add


def add(request):
    x = int(request.POST.get('x', '0'))
    y = int(request.POST.get('y', '0'))
    addInfo.delay(x, y)

默认情况下不启用保存结果。本文我们已经Celery 结果后端。在admin管理后台可以看到任务运行情况

常见问题

1、结果未保存或任务始终处于PENDING状态

所有任务默认为PENDING,因此状态为"未知"。发送任务时,Celery 不会更新状态,并且任何没有历史记录的任务都被假定为待处理。

  1. 确保该任务ignore_result未启用。

    启用此选项将强制工作人员跳过更新状态

  2. 确保没有任何旧线程在运行。

    很容易意外启动多个工作线程,因此在启动新工作线程之前,请确保前一个工作线程已正确关闭。

    未配置预期结果后端的旧工作人员可能正在运行并劫持任务。

    可以将该参数--pidfile设置为绝对路径以确保不会发生这种情况。

  3. 确保客户端配置了正确的后端。

    如果由于某种原因,客户端配置为使用与工作线程不同的后端,您将无法收到结果。确保后端配置正确:

    复制代码
    \>\>\>result = task.delay()
    \>\>\>print(result.backend)
相关推荐
infiniteWei几秒前
【Lucene】什么是全文检索?解读结构化数据与非结构化数据
django·全文检索·lucene
陈大爷(有低保)4 分钟前
三层架构和MVC以及它们的融合
后端·mvc
亦世凡华、4 分钟前
【启程Golang之旅】从零开始构建可扩展的微服务架构
开发语言·经验分享·后端·golang
河西石头5 分钟前
一步一步从asp.net core mvc中访问asp.net core WebApi
后端·asp.net·mvc·.net core访问api·httpclient的使用
2401_8574396917 分钟前
SpringBoot框架在资产管理中的应用
java·spring boot·后端
怀旧66618 分钟前
spring boot 项目配置https服务
java·spring boot·后端·学习·个人开发·1024程序员节
CSXB9921 分钟前
三十四、Python基础语法(文件操作-上)
开发语言·python·功能测试·测试工具
阿华的代码王国38 分钟前
【SpringMVC】——Cookie和Session机制
java·后端·spring·cookie·session·会话
亚图跨际1 小时前
MATLAB和Python及R潜变量模型和降维
python·matlab·r语言·生物学·潜变量模型
infiniteWei1 小时前
【Lucene】全文检索 vs 顺序扫描,为何建立索引比逐个文件搜索更高效?
django·全文检索·lucene