SQLAlchemy 的异步操作来批量保存对象列表

复制代码
async def create_category(db: Session, task_id, category_list, create_time):
    db_categorys = [models.TaskDataSetCategory(
        task_id=task_id,
        category_id=index + 1,
        name=tag,
        supercategory='',
        create_time=create_time,
        update_time=create_time
    ) for index, tag in enumerate(category_list)]
    await db.run_sync(lambda session: session.bulk_save_objects(db_categorys))

最后一句

核心机制解析

  1. db.run_sync() 方法

    • 这是 SQLAlchemy 异步 API(AsyncSession)的关键桥接方法

    • 作用:在异步环境中执行同步风格的 SQLAlchemy 操作

    • 原理:将同步代码转移到专门的事件循环执行器中运行,避免阻塞主线程

  2. lambda 函数

    复制代码
    lambda session: session.bulk_save_objects(db_categorys)
    • 接收同步风格的 Session 对象作为参数

    • 调用同步的 bulk_save_objects() 方法批量保存对象

  3. bulk_save_objects() 方法

    • 高效保存对象列表(比逐个 add() 性能更高)

    • 特点:

      • 不触发 ORM 事件(如 before_insert

      • 不自动获取生成的主键值

      • 适合批量初始化数据场景

执行流程分解

  1. 当前线程(异步上下文)暂停执行

  2. SQLAlchemy 将 lambda 函数交给后台同步执行器

  3. 同步执行器:

    • 获取传统同步 Session

    • 执行批量插入操作

    • 生成如下等效 SQL:

      复制代码
      INSERT INTO task_data_set_category 
      (task_id, category_id, name, supercategory, create_time, update_time)
      VALUES (?,?,?,?,?,?), (?,?,?,?,?,?), ...;
  4. 操作完成后返回异步上下文继续执行

性能优化说明

方法 耗时示例 (1000条) 特点
逐个 session.add() ~500ms 触发ORM事件,有完整生命周期
bulk_save_objects ~50ms 无事件触发,纯SQL批量插入

注意事项

  1. 主键获取

    • 批量保存后 db_categorys 中的对象不会自动获得主键值

    • 如需主键需要额外查询或配置 return_defaults=True

  2. 关联对象

    • 不会自动处理关系对象的保存

    • 需要预先确保所有外键关系有效

  3. 异步上下文

    • 必须在 async with AsyncSession() as db: 块内使用

    • 禁止在普通同步函数中直接调用

相关推荐
Loo国昌2 分钟前
【LangChain1.0】第九阶段:文档处理工程 (LlamaIndex)
人工智能·后端·python·算法·langchain
坠金20 分钟前
图数据库neo4j自建及使用
数据库·neo4j
bbq粉刷匠35 分钟前
MySQL 聚合函数&分组&联合查询
数据库·mysql
抠头专注python环境配置36 分钟前
基于Python与深度学习的智能垃圾分类系统设计与实现
pytorch·python·深度学习·分类·垃圾分类·vgg·densenet
愈努力俞幸运1 小时前
flask 入门 token, headers,cookie
后端·python·flask
梦想是成为算法高手1 小时前
带你从入门到精通——知识图谱(一. 知识图谱入门)
人工智能·pytorch·python·深度学习·神经网络·知识图谱
用什么都重名1 小时前
Conda 虚拟环境安装配置路径详解
windows·python·conda
阿也在北京1 小时前
基于Neo4j和TuGraph的知识图谱与问答系统搭建——胡歌的导演演员人际圈
python·阿里云·知识图谱·neo4j
计算机徐师兄1 小时前
Python基于知识图谱的胆囊炎医疗问答系统(附源码,文档说明)
python·知识图谱·胆囊炎医疗问答系统·python胆囊炎医疗问答系统·知识图谱的胆囊炎医疗问答系统·python知识图谱·医疗问答系统