Mybatis plus批量插入的优化

目录

[1 前言](#1 前言)

[2 优化](#2 优化)

[2.1 逐条的插入](#2.1 逐条的插入)

[2.1.1 java的代码如下](#2.1.1 java的代码如下)

[2.1.2 耗时](#2.1.2 耗时)

[2.1.3 优化](#2.1.3 优化)

[2.2 批量编译再插入](#2.2 批量编译再插入)

[2.2.1 java的代码如下](#2.2.1 java的代码如下)

[2.2.2 耗时](#2.2.2 耗时)

[2.2.3 疑问](#2.2.3 疑问)

[2.2.4 优化](#2.2.4 优化)

[2.3 真-批量插入](#2.3 真-批量插入)


1 前言

数据库的常见操作无非增删查改,当有大量数据需要插入的时候,无疑需要耗费大量的时间,此时性能的优化就极为重要,接下来我将逐步讲解如何优化效率。

2 优化

2.1 逐条的插入

2.1.1 java的代码如下

java 复制代码
@Test
void testSaveOneByOne() {
    //其它代码...
    for (int i = 1; i <= 100000; i++) {
        //创建并插入User
        userService.save(buildUser(i));
    }
}

2.1.2 耗时

我们可以看到,逐条插入耗费了大量的时间。

2.1.3 优化

如果使用批量插入将会明显要比逐条插入快许多,这是因为逐条插入每次需要向数据库中提交请求,提交到Mysql然后执行,这个操作是需要耗时间的。而我们以1000个为一批提交请求,这就大大节省了提交请求所耗的时间。如下。

2.2 批量编译再插入

2.2.1 java的代码如下

java 复制代码
void testSaveBatch() {
    for (int i = 1; i <= 100000; i++) {
        //其它代码...
        if (i % 1000 == 0) {
            //1000个为一批的插入
            userService.saveBatch(list);
        }
    }
}

2.2.2 耗时

我们可以看到,耗时已经减少很多了,但是还能再优化。

2.2.3 疑问

这难道还能优化?使用Mybatis的时候为什么没这种问题?为什么呢?

这是因为我们这里使用的是Mybatis plus直接给我们提供的方法,而不是我们自己手写的方法,我们一般会使用<foreach>来达到如下的效果:

sql 复制代码
insert into user(xxx)
values(xx),
      (xx);

这样就是真正的批量插入,一批只需要执行一次 。

而使用Mybatis plus自动给的方法,则只是批量传到Mysql,执行仍然是一条一条执行的,所以速度还没达到极致。

2.2.4 优化

不过上述情况也不能怪Mybatis plus,这是因为我们在Mysql中没开启一个参数,使得Mybatis plus的功能受到了限制,一旦开启,就能做的真正的批量插入了。

2.3 真-批量插入

在application.yml配置文件中,开启参数(rewriteBatchedStatements=true),然后使用Mybatis plus直接给我们提供的批量插入即可。

diff 复制代码
spring:
  datasource:
    url: jdbc:mysql://localhost:3306/xxx?rewriteBatchedStatements=true

耗时:

直接秒了,家人们

相关推荐
方也_arkling4 分钟前
【Java-Day15】API篇-ArrayList集合
java·开发语言
AI人工智能+电脑小能手6 分钟前
【大白话说Java面试题 第89题】【Mysql篇】第19题:Hash 索引和 B+ 树索引的区别?它们在使用方面的区别?
java·数据库·mysql·面试·哈希算法
我是一颗柠檬8 分钟前
【Java后端技术亮点】动态路由权限(按钮级权限),细粒度控制到按钮级别
java·开发语言·后端·状态模式
Fanfanaas9 分钟前
C++ 继承
java·开发语言·jvm·c++·学习·算法
蚰蜒螟10 分钟前
走进 Linux 内核:从 touch 命令到磁盘 inode 的完整旅程
java·linux·前端
zzqssliu14 分钟前
taocarts 跨境独立站 SEO 优化实践(多语言 + 反向海淘场景)
java·javascript·php
前端Hardy14 分钟前
CSS 动画真的比 JS 快?Josh Comeau 做了组实验,结果跟直觉不一样
前端·javascript·后端
Front思15 分钟前
调取支付宝支付正式环境不可以唤起来,但是沙箱可以
后端
foggyprojects21 分钟前
AI 生成 SQL 模板以后,为什么还需要固定 helper 规则
后端
在繁华处22 分钟前
Java从零到熟练(十一):Spring框架入门
java·开发语言·spring