使用Mybatis批量插入大量数据的实践

前言

在项目开发过程中,我们经常会有批量插入的需求,例如:定时统计任务

但是受限于MySQL中 max_allowed_packet 参数限制,5.7版本默认值为4M,这显然不太符合我们的需求,当然我们也可以通过修改此值来适应我们业务,今天分享在不修改此值的情况下,如何在客户端优雅的处理此场景

常用基础版

java 复制代码
@Transactional(rollbackFor = Exception.class, propagation = Propagation.REQUIRES_NEW)
public void submit(List<GroupDayStatistics> dataList) {
    // 清理统计数据
    mapper.delete();

    int batchNum = 1000;
    List<Object> tempList = new ArrayList<>(batchNum);
    for (int i = 0, size = dataList.size(); i < size; i++) {
        tempList.add(dataList.get(i));
        if (tempList.size() == 1000 || i + 1 == size) {
            mapper.batchInsert(tempList);
            tempList.clear();
        }
    }
}

这种写法有个缺点:其他地方要用都得copy一份过去,麻烦

改进版

java 复制代码
@Service
public class BatchInsertUtil<T> {
    /**
     * 批次新增(删除函数 以及 分片新增都将在同一个事务中进行处理)
     *
     * @param batchSize
     *            批次新增大小
     * @param deleteSupplier
     *            清理函数
     * @param insertFunction
     *            批次新增调用函数
     * @param data
     *            需新增数据
     * @return left:删除影响行 right:新增行数
     */
    @Transactional(rollbackFor = Exception.class, propagation = Propagation.REQUIRES_NEW)
    public ImmutablePair<Integer, Integer> batchInsert(int batchSize, IntSupplier deleteSupplier,
        Function<List<T>, Integer> insertFunction, List<T> data) {
        int deleteRow = 0;
        // 清理数据
        if (Objects.nonNull(deleteSupplier)) {
            deleteRow = deleteSupplier.getAsInt();
        }
        // 分片分事务插入数据
        List<List<T>> partition = ListUtils.partition(data, batchSize);
        int insertRow = partition.stream().mapToInt(insertFunction::apply).sum();
        return new ImmutablePair<>(deleteRow, insertRow);
    }
}
使用第一步
java 复制代码
// 注入我们的工具类
@Resource
private BatchInsertUtil<需要插入的实体类> batchInsertUtil;
使用第二步
java 复制代码
IntSupplier deleteSupplier = () -> mapper.delete();
Function<List<需要插入的实体类>, Integer> insertFunction = arg -> mapper.batchInsert(arg);
batchInsertUtil.batchInsert(1000, deleteSupplier, insertFunction, dataList);

本来到这就结束了,问题很多的小明就说了:

你这个怎么删除与分片新增都在一个事务中,如果我一次性插入的数据过多,这不就是一个大事务了嘛?虽然在一个事务中可以保证原子性,但是我有的场景就是想要他们分别处于不同事务,业务上的一致性我自己保证,你就说能不能做吧!

......

......

......

安排!

进一步优化

java 复制代码
// 这里我们在第二步的基础上引入 编程式事务:
@Resource
private PlatformTransactionManager transactionManager;

/**
 * 批次新增(删除函数 以及 分片新增函数都将采取独立事务commit)
 *
 * @param batchSize
 *            批次新增大小
 * @param deleteSupplier
 *            清理函数
 * @param insertFunction
 *            批次新增调用函数
 * @param data
 *            需新增数据
 * @return left:删除影响行 right:新增行数
 */
@Transactional(rollbackFor = Exception.class, propagation = Propagation.NOT_SUPPORTED)
public ImmutablePair<Integer, Integer> batchInsertAloneTransaction(int batchSize, IntSupplier deleteSupplier,
    Function<List<T>, Integer> insertFunction, List<T> data) {

    TransactionStatus transactionStatus = buildTransactionStatus();
    int deleteRow = 0;
    try {
        // 清理数据
        if (Objects.nonNull(deleteSupplier)) {
            deleteRow = deleteSupplier.getAsInt();
        }
        transactionManager.commit(transactionStatus);
    } catch (Exception e) {
        transactionManager.rollback(transactionStatus);
    }
    // 分片分事务插入数据
    List<List<T>> partition = ListUtils.partition(data, batchSize);
    int insertRow = partition.stream().mapToInt(list -> insertAndCommit(insertFunction, list)).sum();
    return new ImmutablePair<>(deleteRow, insertRow);
}

/**
 * 新增分片数据并提交事务
 * 
 * @param insertFunction
 *            新增函数
 * @param dataList
 *            分片数据
 * @return 新增行数
 */
private int insertAndCommit(Function<List<T>, Integer> insertFunction, List<T> dataList) {
    TransactionStatus transactionStatus = buildTransactionStatus();
    try {
        Integer apply = insertFunction.apply(dataList);
        transactionManager.commit(transactionStatus);
        return apply;
    } catch (Exception e) {
        transactionManager.rollback(transactionStatus);
        throw e;
    }
}

/**
 * 构建事务状态
 * 
 * @return 结果
 */
private TransactionStatus buildTransactionStatus() {
    DefaultTransactionDefinition defaultTransactionDefinition = new DefaultTransactionDefinition();
    defaultTransactionDefinition.setPropagationBehavior(TransactionDefinition.PROPAGATION_REQUIRES_NEW);
    return transactionManager.getTransaction(defaultTransactionDefinition);
}

// 注:分片新增任意一个事务操作失败将不对已提交事务产生任何影响,需自行保证数据在业务上的一致性

结语

现在整个世界都变优雅了!

相关推荐
军军君017 小时前
基于Springboot+UniApp+Ai实现模拟面试小工具四:后端项目基础框架搭建下
spring boot·spring·面试·elementui·typescript·uni-app·mybatis
超级小忍11 小时前
在 Spring Boot 中使用 MyBatis 的 XML 文件编写 SQL 语句详解
xml·spring boot·mybatis
程序猿小D12 小时前
[附源码+数据库+毕业论文+答辩PPT+部署教程+配套软件]基于SpringBoot+MyBatis+MySQL+Maven+Vue实现的交流互动管理系统
spring boot·mysql·vue·mybatis·毕业论文·答辩ppt·交流互动
24kHT1 天前
xml映射文件的方式操作mybatis
xml·mybatis
栈溢出了2 天前
MyBatis实现分页查询-苍穹外卖笔记
java·笔记·mybatis
weixin_456904272 天前
Spring Boot整合MyBatis+MySQL+Redis单表CRUD教程
spring boot·mysql·mybatis
Cyanto2 天前
Spring注解IoC与JUnit整合实战
java·开发语言·spring·mybatis
gadiaola2 天前
【SSM面试篇】Spring、SpringMVC、SpringBoot、Mybatis高频八股汇总
java·spring boot·spring·面试·mybatis
Cyanto2 天前
深入MyBatis:CRUD操作与高级查询实战
java·数据库·mybatis
不像程序员的程序媛3 天前
redis的一些疑问
java·redis·mybatis