MyBatis Oracle 批量插入数据

MyBatis Oracle 批量插入数据

系统:Win10

JDK:1.8.0_351

IDEA:2022.3.3

1.需求描述

在一次项目中实施过程中,后台需要将地区数据插入到数据库,数据大概三千条左右,本来直接使用循环遍历插入的方式,结果居然需要十几秒的时间,感觉速度太慢了,所以便想办法提高插入数据的速度,经过多番资料查询和验证,结果选定了一款实现方式,特此记录下来。

2.实现方案

数据:3208 条

需求:将数据插入到 Oracle 数据库

2.1 循环 insert 插入

最基础的就是使用 for 循环遍历 list 数据,一个个进行插入

java 代码

java 复制代码
...
 //循环插入
 StopWatch started = new StopWatch();
 started.start();//开始计时
 for (Region region : regions) {
     regionMapper.insert(region);
 }
 started.stop();//停止计时
 System.out.println("插入" + list.size() + "条数据耗时: " + started.getTime());
...

mapper 接口

java 复制代码
int insert(Region region);

xml 语句

xml 复制代码
<insert id="insert">
    insert into DATA_REGION(id, name, pid)
    values (#{id}, #{name}, #{pid})
</insert>

这里测试执行了 3 次,平均耗时:15160 ms

2.2 insert all 插入

这里主要使用的 Oracle 的 INSERT ALL 语法

sql 复制代码
INSERT ALL
    INTO table_name(col1,col2,col3) VALUES(val1,val2, val3)
    INTO table_name(col1,col2,col3) VALUES(val4,val5, val6)
    INTO table_name(col1,col2,col3) VALUES(val7,val8, val9)
Subquery;

该方法用来批量向数据库中插入数据所用的

java 代码

java 复制代码
...
//insert all 插入
StopWatch started = new StopWatch();
started.start();//开始计时
regionMapper.insertAll(regions);
started.stop();//停止计时
System.out.println("插入" + list.size() + "条数据耗时: " + started.getTime());
...

mapper 接口

java 复制代码
int insertAll(List<Region> list);

xml 语句

xml 复制代码
<insert id="insertAll">
    insert all
    <foreach collection="list" item="item" index="index">
        into DATA_REGION(id, name, pid) VALUES (#{item.id},#{item.name},#{item.pid})
    </foreach>
    select 1 from dual
</insert>

这里测试执行了 3 次,平均耗时:8171 ms

2.3 insert union all 插入

这里是使用 union all 先将各个对象的值查询到一起再批量插入到表中

java 代码

java 复制代码
...
//batchInsert
StopWatch started = new StopWatch();
started.start();//开始计时
regionMapper.batchInsert(regions);
started.stop();//停止计时
System.out.println("插入" + list.size() + "条数据耗时: " + started.getTime());
...

mapper 接口

java 复制代码
int batchInsert(List<Region> list);

xml 语句

xml 复制代码
<insert id="batchInsert">
    insert into DATA_REGION(id, name, pid)
    <foreach collection="list" item="item" index="index" separator="union all">
        (
        select #{item.id},#{item.name},#{item.pid} from dual
        )
    </foreach>
</insert>

这里测试执行了 3 次,平均耗时:2619 ms

3.分析总结

根据上面的三次测试,我们可以得出如下表格

# 循环 insert 插入 insert all 插入 insert union all 插入
平均耗时 15.16s 8.17s 2.62s

所以我最后决定采用第三种方法,不过我这里数据量只有 3000 多条,如果数据量更大,可能要再测试看看。

后续看看还有没有更好的实现方案,如果找到我再添加到文章末尾。

相关推荐
zhixingheyi_tian15 分钟前
JVM 之 GCLocker
java·jvm
码哥字节27 分钟前
把 Cursor 的烂输出变成好代码,这 10 个 Prompt 改造让我省了 80% 改稿时间
java·ai编程工具·cursor 配置·prompt 技巧
2503_9317124827 分钟前
10m/s超高速电梯:西奥XO-NEWIII如何树立行业速度标杆
java·大数据·数据库
折哥的程序人生 · 物流技术专研35 分钟前
第4篇:抽象工厂模式——产品族一键创建
java·设计模式·抽象工厂模式·创建型模式·编程进阶·产品族·扩充系列
正儿八经的少年35 分钟前
Spring Boot
java·spring boot·后端
未秃头的程序猿42 分钟前
虚拟线程用了一年,我真香了——10倍吞吐量是真实存在的
java·后端·面试
豆瓣鸡1 小时前
封装 Jackson 配置 Starter:统一解决 LocalDateTime 请求解析和响应格式化问题
java·spring boot
xiaogai_gai1 小时前
钉钉数据集成到金蝶云星空案例分享:传给钉钉后,回传金蝶字段
java·前端·钉钉
摇滚侠1 小时前
云原生 Java 架构师的第一课 K8s+Docker+KubeSphere+DevOps 19-25
java·云原生·kubernetes
标致的钢铁侠1 小时前
c# 温故而知新: 线程篇(一)
java·jvm·c#