SQLAlchemy 的异步操作来批量保存对象列表

复制代码
async def create_category(db: Session, task_id, category_list, create_time):
    db_categorys = [models.TaskDataSetCategory(
        task_id=task_id,
        category_id=index + 1,
        name=tag,
        supercategory='',
        create_time=create_time,
        update_time=create_time
    ) for index, tag in enumerate(category_list)]
    await db.run_sync(lambda session: session.bulk_save_objects(db_categorys))

最后一句

核心机制解析

  1. db.run_sync() 方法:

    • 这是 SQLAlchemy 异步 API(AsyncSession)的关键桥接方法

    • 作用:在异步环境中执行同步风格的 SQLAlchemy 操作

    • 原理:将同步代码转移到专门的事件循环执行器中运行,避免阻塞主线程

  2. lambda 函数:

    复制代码
    lambda session: session.bulk_save_objects(db_categorys)
    • 接收同步风格的 Session 对象作为参数

    • 调用同步的 bulk_save_objects() 方法批量保存对象

  3. bulk_save_objects() 方法:

    • 高效保存对象列表(比逐个 add() 性能更高)

    • 特点:

      • 不触发 ORM 事件(如 before_insert)

      • 不自动获取生成的主键值

      • 适合批量初始化数据场景

执行流程分解

  1. 当前线程(异步上下文)暂停执行

  2. SQLAlchemy 将 lambda 函数交给后台同步执行器

  3. 同步执行器:

    • 获取传统同步 Session

    • 执行批量插入操作

    • 生成如下等效 SQL:

      复制代码
      INSERT INTO task_data_set_category 
      (task_id, category_id, name, supercategory, create_time, update_time)
      VALUES (?,?,?,?,?,?), (?,?,?,?,?,?), ...;
  4. 操作完成后返回异步上下文继续执行

性能优化说明

方法 耗时示例 (1000条) 特点
逐个 session.add() ~500ms 触发ORM事件,有完整生命周期
bulk_save_objects ~50ms 无事件触发,纯SQL批量插入

注意事项

  1. 主键获取:

    • 批量保存后 db_categorys 中的对象不会自动获得主键值

    • 如需主键需要额外查询或配置 return_defaults=True

  2. 关联对象:

    • 不会自动处理关系对象的保存

    • 需要预先确保所有外键关系有效

  3. 异步上下文:

    • 必须在 async with AsyncSession() as db: 块内使用

    • 禁止在普通同步函数中直接调用

相关推荐
小白快快跑哦5 分钟前
python-字符串全解(六):正则表达式-分组
python·mysql·正则表达式·分组
计算机编程指导师7 分钟前
【大数据毕设】Hadoop+Spark台北市住宅价格数据可视化分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·spark·毕业设计·课程设计·住宅价格
高级程序源8 小时前
django校园寻物通失物招领平台32261-计算机课程设计、毕业设计
vue.js·python·mysql·小程序·django·flask·课程设计
WeiXin_DZbishe8 小时前
基于springboot宠物领养系统-计算机毕设 附源码【课程设计】94217
vue.js·spring boot·python·django·php·课程设计
KIDULT°8 小时前
MySQL系列 (1):数据库原理
运维·数据库·mysql·云计算
kimnoic9 小时前
Python数据库学习心得:SQLite、MySQL、PostgreSQL优缺点
开发语言·python
我不是程序员三三9 小时前
透明加密软件偶发解密异常排错实录:文件时能打开时乱码
数据库·域智盾
snhna9 小时前
向量数据库深度实战:从 HNSW 到 pgvector、Milvus 选型与 RAG 落地
数据库·人工智能·python·postgresql·milvus
天行健,君子而铎9 小时前
数据分类分级的范式转换:从规则匹配到场景化高准确率一键部署
网络·数据库·安全
牛战士coding9 小时前
MySQL 读写分离完整链路:主从复制、多数据源与 @DS 路由
数据库·mysql