insert into select简单数据迁移-postgresql

回忆是昨天里的海2024-01-09 22:52

简单记录下去年11月的小数据迁移

前提

有个表customer_info里边大概有1千多万数据，分了四个店铺，其中三个店铺的数据是已经不再变动了，只有一个店铺的数据还在更新，所以当时就想把其他三个店铺的数据迁移出去，只留变动的数据（变动的数据大概有三百多万），要迁移的数据大概有七百多万，1个G多的数据，使用的数据库postgresql，当时还考虑到迁移这些数据的时候会不会造成迁移那一段时间的数据更新有问题啥的，后来发现用命令分店铺迁移很快就迁移成功了，另外就是变动的数据更新频率没那么高，大概并发只有10-20左右

过程

1.先复制出一张新表(该表用于要迁移出的数据存储，把索引啥的也要建好)

2.使用命令按店铺分三次迁移(大致命令如下)

复制代码

insert into isv_customer_info_20231129 SELECT * FROM isv_customer_info where seller_nick = 'xx旗舰店1'

insert into isv_customer_info_20231129 SELECT * FROM isv_customer_info where seller_nick = 'xx旗舰店2'

insert into isv_customer_info_20231129 SELECT * FROM isv_customer_info where seller_nick = 'xx旗舰店3'

三个店铺数据分别是6554064，1466921，595631 所用时间分别是117011ms，28354ms，8613ms，即600万数据用时大概2分钟，100多万数据用时大概28s

3.可以抽一些数据大概看一下

建议：

1.也建议在操作低峰时进行迁移避免出现问题

2.如果有其他业务场景，建议先了解一下insert into select用法避免发生问题

我同事那会儿也在进行迁移，他那边是mysql数据库，大概好像4G的数据，几分钟就迁移完了。