MySql几十万条数据,同时新增或者修改

项目场景:

十万条甚至更多的数据新增或者修改


问题描述

现在有十万条数据甚至更多数据,在这些数据中,有部分数据存在数据库中,有部分数据确是新数据,存在的数据需要更新,不存在的数据需要新增


原因分析:

几十万的数据有新增,有修改,我们肯定不能去每条都要去数据库查询验证是否存在,这样数据库也扛不住


解决方案:

提示:有两种解决方案简单记录下,在mybatis中使用的场景

1、第一种解决方式,使用on duplicate key update,主键重复去修改,不重复就新增这里的order_id就是主键

java 复制代码
<insert id="addOrUpdateKryOrderMst" parameterType="list">
        insert into ${schema}.me_kry_order_mst
        (`order_id`,
         `trade_no`,
         `trade_type`,
         `trade_status`,
         `order_time`,
         `check_out_time`,
         `source`,
         `source_name`,
         `received_amount`,
         `cust_real_pay`,
         `trade_amount`,
         `privilege_amount`)
        values
        <foreach collection="kryOrderMstParam" item="item" separator=",">
            (#{item.orderId}, #{item.tradeNo}, #{item.tradeType}, #{item.tradeStatus}, #{item.orderTime}, #{item.checkOutTime}, #{item.source}, #{item.sourceName}, #{item.receivedAmount}, #{item.custRealPay}, #{item.tradeAmount}, #{item.privilegeAmount})
        </foreach>
        on duplicate key update
                             trade_no =
                         values (trade_no), trade_type =
                         values (trade_type), trade_status =
                         values (trade_status), order_time =
                         values (order_time), check_out_time =
                         values (check_out_time), `source` =
                         values (`source`), source_name =
                         values (source_name), received_amount =
                         values (received_amount), cust_real_pay =
                         values (cust_real_pay), trade_amount =
                         values (trade_amount), privilege_amount =
                         values (trade_amount)
    </insert>

2、第二种解决方式,使用replace into,若是主键存在就删除重新新增一条

java 复制代码
    <insert id="addOrUpdateKryOrderMst" parameterType="list">
        replace into ${schema}.me_kry_order_mst
        (`order_id`,
         `trade_no`,
         `trade_type`,
         `trade_status`,
         `order_time`,
         `check_out_time`,
         `source`,
         `source_name`,
         `received_amount`,
         `cust_real_pay`,
         `trade_amount`,
         `privilege_amount`)
        values
        <foreach collection="kryOrderMstParam" item="item" separator=",">
            (#{item.orderId}, #{item.tradeNo}, #{item.tradeType}, #{item.tradeStatus}, #{item.orderTime}, #{item.checkOutTime}, #{item.source}, #{item.sourceName}, #{item.receivedAmount}, #{item.custRealPay}, #{item.tradeAmount}, #{item.privilegeAmount})
        </foreach>
    </insert>

写的不好,请各位看官多多担待,勿喷谢谢,有需要补充请留言!

相关推荐
BD_Marathon4 分钟前
Spring是什么
java·后端·spring
我命由我123457 分钟前
Android 消息机制 - Looper(Looper 静态方法、Looper 静态方法注意事项、Looper 实例方法、Looper 实例方法注意事项)
android·java·android studio·安卓·android jetpack·android-studio·android runtime
Warren988 分钟前
MySQL 8 中的保留关键字陷阱:当表名“lead”引发 SQL 语法错误
linux·数据库·python·sql·mysql·django·virtualenv
thekenofdis9 分钟前
MongoDB 自动删除集合中过期的数据
数据库·mongodb
月明长歌9 分钟前
【码道初阶】Leetcode138:随机链表的复制:用 HashMap 做深拷贝的标准解法
java·数据结构·算法·leetcode·链表·哈希算法
老邓计算机毕设12 分钟前
SSM校园扶助综合服务平台的设计与实现r941j(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面
数据库·校园信息化·ssm 校园扶助平台
.简.简.单.单.13 分钟前
Design Patterns In Modern C++ 中文版翻译 第八章 组合
java·c++·设计模式
好记忆不如烂笔头abc13 分钟前
ubuntu20.04桌面允许root用户登录
服务器·数据库·postgresql
————A14 分钟前
从 RAG 走不通开始:设备运维场景下的一次诊断系统重构思考
大数据·数据库·人工智能
码界奇点16 分钟前
基于Spring Boot和Vue.js的房屋出租管理系统设计与实现
vue.js·spring boot·后端·车载系统·毕业设计·源代码管理