insert into select简单数据迁移-postgresql

简单记录下去年11月的小数据迁移

前提

有个表customer_info里边大概有1千多万数据,分了四个店铺,其中三个店铺的数据是已经不再变动了,只有一个店铺的数据还在更新,所以当时就想把其他三个店铺的数据迁移出去,只留变动的数据(变动的数据大概有三百多万),要迁移的数据大概有七百多万,1个G多的数据,使用的数据库postgresql,当时还考虑到迁移这些数据的时候会不会造成迁移那一段时间的数据更新有问题啥的,后来发现用命令分店铺迁移很快就迁移成功了,另外就是变动的数据更新频率没那么高,大概并发只有10-20左右

过程

1.先复制出一张新表(该表用于要迁移出的数据存储,把索引啥的也要建好)

2.使用命令按店铺分三次迁移(大致命令如下)

复制代码
insert into isv_customer_info_20231129 SELECT * FROM isv_customer_info where seller_nick = 'xx旗舰店1'

insert into isv_customer_info_20231129 SELECT * FROM isv_customer_info where seller_nick = 'xx旗舰店2'

insert into isv_customer_info_20231129 SELECT * FROM isv_customer_info where seller_nick = 'xx旗舰店3'

三个店铺数据分别是6554064,1466921,595631 所用时间分别是117011ms,28354ms,8613ms,即600万数据用时大概2分钟,100多万数据用时大概28s

3.可以抽一些数据大概看一下

建议:

1.也建议在操作低峰时进行迁移避免出现问题

2.如果有其他业务场景,建议先了解一下insert into select用法避免发生问题

我同事那会儿也在进行迁移,他那边是mysql数据库,大概好像4G的数据,几分钟就迁移完了。

相关推荐
Decay__3 小时前
PostgreSQL 数据库全栈运维实战系列 — 合集索引(24 篇)
运维·数据库·sql·mysql·架构
琳少_7 小时前
java程序开发笔记
java·开发语言·数据库·笔记
ZhengEnCi7 小时前
覆盖索引怎么设计:从回表代价到 MySQL 与 PostgreSQL 的落地写法
sql·mysql·postgresql
Pocker_Spades_A10 小时前
工业物联网时序数据库选型:一份能直接抄走的技术规格书
数据库·物联网·时序数据库
苜蓿muxu10 小时前
缓存三大问题:穿透、击穿、雪崩
数据库·redis
正在走向自律11 小时前
MySQL兼容性深度实践:建表、增删改查与迁移避坑全记录
数据库·sql·mysql·信创·数据库迁移
隔窗听雨眠12 小时前
openGauss开源五年的内核演进与生态工程
数据库·opengauss·国产数据库
Decay__13 小时前
PostgreSQL 体系架构全解 —— 进程模型、共享内存、MVCC 与 WAL 预写日志深入
运维·数据库·sql·mysql·架构
沐知全栈开发14 小时前
基于ClinicalTrials公开数据的临床试验分析系统-毕业设计
数据库·课程设计
半杯咖啡半行码14 小时前
Qt 隐式共享(Implicit Sharing)深度解析:机制、陷阱与 Qt6迁移
开发语言·数据库·qt