celery实现定时任务和异步任务

celery介绍

Celery是基于Python开发的一个分布式任务队列框架，支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度。它是Python写的库，但是它实现的通讯协议也可以使用ruby，php，javascript等调用。异步任务除了消息队列的后台执行的方式，还是一种则是定时计划任务。

组件：

1、任务（tasks）--用户定义的函数，用于实现用户的功能，比如执行一个耗时很长的任务

2、中间介（Broker）--用于存放tasks的地方，但是这个中间介需要解决一个问题，就是可能需要存放非常非常多的tasks，而且要保证Worker能够从这里拿取

3、执行者（Worker）--用于执行tasks，也就是真正调用我们在tasks中定义的函数

4、存储（Backend）--把执行tasks返回的结果进行存储，以供用户查看或调用
使用 Celery 实现异步任务主要包含三个步骤：

创建一个 Celery 实例

启动 Celery Worker

应用程序调用异步任务

1、安装redis，配置redis的信息

celery_config.py

复制代码

# -*- encoding: utf-8 -*-

# broker_url = 'redis://:0cf0a6ca600dc4@112.22.1.43:26666/5'
broker_url = 'redis://:081acf0a6ca600dc4@112.22.1.43:26666/5'
# result_backend = 'redis://:89cacf0a6ca600dc4@112.22.1.43:26666/5'
result_backend = 'redis://:081acf0a6ca600dc4@112.22.1.43:26666/5'
broker_connection_retry_on_startup = True
timezone = 'Asia/Shanghai'

2、读取配置创建celery实例

tasks.py

复制代码

celery_app = Celery(main='APP_ADMIN_SERVER')
celery_app.config_from_object("celery_config")
celery_task_default_queue = 'APP_ADMIN_SERVER_ALL_TASK_QUEUE'

beat_schedule = {
    'update-status-scheduled-task': {
        'task': 'tasks.update_account_status',
        "schedule": timedelta(seconds=system_config['celery_task_schedule_second']),
    },
}

# 需要启动两个
celery_app.conf.update(
    timezone='Asia/Shanghai',
    enable_utc=True,
    beat_schedule=beat_schedule,
    task_default_queue=celery_task_default_queue,
)

定义异步任务

复制代码

@celery_app.task
def upload_log_task():
    print("执行异步任务")

定义定时任务

复制代码

# 查询所有用户表，更新对应casdoor用户的状态是否可以登录
@celery_app.task
def update_account_status():
    logger.error("执行update_account_status定时任务。。。")
    asyncio.run(_update_account_status())

启动worker

复制代码

# tasks 就是文件名 异步任务 -Q 指定队列名 -c 指定worker数量
celery -A tasks worker --loglevel=INFO -c 1 &

启动定时任务beat

复制代码

# 定时任务
celery -A tasks beat --loglevel=INFO