Mybatis批量更新数据及其优化

需求场景:定时任务中,从其他平台同步数据,并更新当前平台数据库,表数据3W+,分批更新某个字段,耗时巨大,约30min,尝试性能优化。

批量更新的几种常见方式:

1.foreach 循环

在mybatis的xml文件中,使用foreach动态标签拼接SQL语句,每一条数据的更新语句对应一条update语句,多条语句最终使用";"号进行拼接。

XML 复制代码
<update id="updateStudentInfoById">
    <foreach collection="list" item="item" separator=";">
        update
            t_student
        set
            name = #{item.name},
            age = #{item.age}
        where
            id = #{item.id}
    </foreach>
</update>

2.先删后增,取出原数据内存中更新后,先将全表数据删除,再insert插入;或者设置标志字段,先增后删,思路一致

3.使用replace into 若主键存在则更新,不存在插入

XML 复制代码
REPLACE INTO t_student (id, name, code, hobby) 
values (#{item.id}, #{item.name}, #{item.code}, #{item.hobby})

4.批量新增数据,若键重复则更新

XML 复制代码
<insert id="batchInsertStudentInfo">
    insert into t_student (id, code, name, hobby, create_time) values
    <foreach collection="students" item="item" index="index" separator=",">
        (
            #{item.id},
            #{item.code},
            #{item.name},
            #{item.hobby},
			#{item.createTime}
         )
     </foreach>
     on duplicate key update
     create_time = values(create_time)
</insert>

5.when case 更新

sql 复制代码
UPDATE `t_student` 
SET `name` =
CASE
		
		WHEN `id` = 1 THEN
		'张三' 
		WHEN `id` = 2 THEN
		'李四' 
		WHEN `id` = 3 THEN
		'王五' 
		WHEN `id` = 4 THEN
		'赵六' 
	END,
	`age` =
CASE
		
		WHEN `id` = 1 THEN
		40 
		WHEN `id` = 2 THEN
		34 
		WHEN `id` = 3 THEN
		55 
		WHEN `id` = 4 THEN
		76 
	END 
WHERE
	`id` IN ( 1, 2, 3, 4 )

场景分析:当前场景需要去更新某个字段,且数据量较大,几百条数据每批进行更新,应用foreach循环更新时,耗时巨大;

性能优化:使用临时表关联全表更新,一次关联,一次更新;

XML 复制代码
<update id="updateTeacherWorkload">
    drop temporary table if exists tmp;
    create temporary table tmp(id varchar(128) primary key, actual_workload varchar(64));
    update t_teacher_info, (select id, actual_workload from tmp union all
    <foreach collection="updatedWorkload" item="item" separator=" union all ">
        select #{item.id}, #{item.actualWorkload}
    </foreach>) as tmp
    set t_teacher_info.actual_workload = tmp.actual_workload where t_teacher_info.id = tmp.id;
</update>

结果评估:使用临时表后总体耗费时间为12s,较原先30min,缩短150倍;

注意点:临时关联更新操作不能应用在Trascational事务中,创建临时表的操作在事务中不支持,需要做其他处理;正常小数量的更新且有事务管理要求,则优先使用foreach或其他操作。

相关推荐
十八旬17 小时前
苍穹外卖项目实战(day7-1)-缓存菜品和缓存套餐功能-记录实战教程、问题的解决方法以及完整代码
java·数据库·spring boot·redis·缓存·spring cache
要一起看日出18 小时前
MVCC-多版本并发控制
数据库·mysql·mvcc
Hx__18 小时前
MySQL InnoDB 的 MVCC 机制
数据库·mysql
速易达网络18 小时前
ASP.NET MVC 连接 MySQL 数据库查询示例
数据库·asp.net·mvc
玉衡子19 小时前
MySQL基础架构全面解析
数据库·后端
梦中的天之酒壶19 小时前
Redis Stack扩展功能
数据库·redis·bootstrap
GreatSQL19 小时前
GreatSQL分页查询优化案例实战
数据库
Leo.yuan19 小时前
不同数据仓库模型有什么不同?企业如何选择适合的数据仓库模型?
大数据·数据库·数据仓库·信息可视化·spark
麦兜*19 小时前
MongoDB 6.0 新特性解读:时间序列集合与加密查询
数据库·spring boot·mongodb·spring·spring cloud·系统架构
chat2tomorrow19 小时前
数据采集平台的起源与演进:从ETL到数据复制
大数据·数据库·数据仓库·mysql·低代码·postgresql·etl