celery实现定时任务和异步任务

celery介绍

Celery是基于Python开发的一个分布式任务队列框架,支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度。它是Python写的库,但是它实现的通讯协议也可以使用ruby,php,javascript等调用。异步任务除了消息队列的后台执行的方式,还是一种则是定时计划任务。

组件:

1、任务(tasks)--用户定义的函数,用于实现用户的功能,比如执行一个耗时很长的任务

2、中间介(Broker)--用于存放tasks的地方,但是这个中间介需要解决一个问题,就是可能需要存放非常非常多的tasks,而且要保证Worker能够从这里拿取

3、执行者(Worker)--用于执行tasks,也就是真正调用我们在tasks中定义的函数

4、存储(Backend)--把执行tasks返回的结果进行存储,以供用户查看或调用
使用 Celery 实现异步任务主要包含三个步骤:

  • 创建一个 Celery 实例
  • 启动 Celery Worker
  • 应用程序调用异步任务

1、安装redis,配置redis的信息

celery_config.py

复制代码
# -*- encoding: utf-8 -*-

# broker_url = 'redis://:[email protected]:26666/5'
broker_url = 'redis://:[email protected]:26666/5'
# result_backend = 'redis://:[email protected]:26666/5'
result_backend = 'redis://:[email protected]:26666/5'
broker_connection_retry_on_startup = True
timezone = 'Asia/Shanghai'

2、读取配置创建celery实例

tasks.py

复制代码
celery_app = Celery(main='APP_ADMIN_SERVER')
celery_app.config_from_object("celery_config")
celery_task_default_queue = 'APP_ADMIN_SERVER_ALL_TASK_QUEUE'

beat_schedule = {
    'update-status-scheduled-task': {
        'task': 'tasks.update_account_status',
        "schedule": timedelta(seconds=system_config['celery_task_schedule_second']),
    },
}

# 需要启动两个
celery_app.conf.update(
    timezone='Asia/Shanghai',
    enable_utc=True,
    beat_schedule=beat_schedule,
    task_default_queue=celery_task_default_queue,
)

定义异步任务

复制代码
@celery_app.task
def upload_log_task():
    print("执行异步任务")

定义定时任务

复制代码
# 查询所有用户表,更新对应casdoor用户的状态是否可以登录
@celery_app.task
def update_account_status():
    logger.error("执行update_account_status定时任务。。。")
    asyncio.run(_update_account_status())

启动worker

复制代码
# tasks 就是文件名 异步任务 -Q 指定队列名 -c 指定worker数量
celery -A tasks worker --loglevel=INFO -c 1 &

启动定时任务beat

复制代码
# 定时任务
celery -A tasks beat --loglevel=INFO
相关推荐
吴梓穆30 分钟前
UE5学习笔记 FPS游戏制作33 换子弹 动画事件
笔记·学习·ue4
2401_8848107433 分钟前
Spring-MVC笔记上(上)
笔记·spring·mvc
吴梓穆36 分钟前
UE5学习笔记 FPS游戏制作31 显示计分板
笔记·学习·ue4
画个逗号给明天"2 小时前
C#从入门到精通(5)
开发语言·笔记·c#
杉之3 小时前
Java中的不可变集合
java·笔记·学习
郭涤生4 小时前
Chapter 5: The Standard Library (C++20)_《C++20Get the details》_notes
开发语言·c++·笔记·c++20
cwtlw7 小时前
JavaRedis和数据库相关面试题
java·数据库·笔记·面试
DayDayUp..7 小时前
[算法学习笔记] 《Hello算法》第10章 搜索
笔记·学习
Long_poem7 小时前
【自学笔记】ELK基础知识点总览-持续更新
笔记·elk·jenkins
cwtlw8 小时前
PhotoShop学习03
笔记·学习·photoshop