单库平滑迁移至分库分表架构方案

背景

在我们完成新旧系统迁移之后(《系统重构新旧流量平滑迁移方案》),发现随着业务的不断发展,流量愈发的高出预期,原本新架构的单点数据库就有些吃力了。

此时我们需要将新交易平台的单点数据库升级为分库分表架构。

如何将同一个交易系统的数据由单数据库表平滑迁移至分库分表的数据库表中,成了目前主要的问题。

架构图

问题点

  1. 关于存量数据和增量数据如何处理
  2. 数据完整性如何保证?不能丢数据
  3. 数据实时性如何保证?订单临界点?订单的生命周期?(订单初始化 -> 订单交易完成)
  4. 数据校验:数据同步之后,是否有问题?新旧数据不一致?
  5. 容错保证?灰度?监控?回滚?告警?

方案

读旧写旧、双写读旧、增量数据一致性校验、存量数据同步(DataX)、存量数据一致性校验、双写读新、全量数据一致性校验、旧数据库下线。

数据双写一定要伴随着整个方案的生命周期,考虑到异常可以随时回滚。

读旧写旧

系统原本的方案

双写读旧

此时,我们增加了分库分表,对于我们的应用就有了两个数据源。

针对两个数据源同时进行订单写入操作,但此时我们读的还是旧库。

双写的方案有很多:

  1. 基于中间件读binlog日志同步到新库中
  2. 代码双写,在基础设施层加一层就可以了,数据量级大,加个MQ,削一下峰。

双写过程中,存在更新操作,我们如何判断是存量数据还是增量数据呢?

可以加一层判断,判断新库里面是否存在数据即可。

增量数据一致性校验

针对已经新库的增量订单,做好数据核对,可以及时发现系统问题。

  1. 量级不大,在本地库表写个定时任务写代码(连接双库客户端)比对就可以。
  2. 量级大,将双份数据同步到离线数仓,写sql比对也可以
  3. 如果考虑到实时性,可以在从库做sql比对
  4. 旁路验证策略:在旧系统每个交易节点读取数据的时候,发送一个旁路验证事件,去查一遍新库,做一下数据比对,如果不一样,及时告警,及时处理。

存量数据同步

  1. 数据完整性(数据打标)
  2. 不能覆盖增量数据(判断新库是否存在)

存量数据一致性校验

  1. 量级不大,在本地库表写个定时任务写代码(连接双库客户端)比对就可以。
  2. 量级大,将双份数据同步到离线数仓,写sql比对也可以
  3. 如果考虑到实时性,可以在从库做sql比对

双写读新

  1. 切流要逐步放量,可以根据指定业务字段,做动态配置容器。
  2. 读的时候要加开关,增加容错,出现问题,第一时间切回旧库。
相关推荐
我命由我123452 小时前
Kotlin 数据容器 - List(List 概述、创建 List、List 核心特性、List 元素访问、List 遍历)
java·开发语言·jvm·windows·java-ee·kotlin·list
白-胖-子4 小时前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
武子康4 小时前
Java-80 深入浅出 RPC Dubbo 动态服务降级:从雪崩防护到配置中心秒级生效
java·分布式·后端·spring·微服务·rpc·dubbo
-SGlow-6 小时前
MySQL相关概念和易错知识点(2)(表结构的操作、数据类型、约束)
linux·运维·服务器·数据库·mysql
明月5667 小时前
Oracle 误删数据恢复
数据库·oracle
YuTaoShao7 小时前
【LeetCode 热题 100】131. 分割回文串——回溯
java·算法·leetcode·深度优先
源码_V_saaskw7 小时前
JAVA图文短视频交友+自营商城系统源码支持小程序+Android+IOS+H5
java·微信小程序·小程序·uni-app·音视频·交友
超浪的晨7 小时前
Java UDP 通信详解:从基础到实战,彻底掌握无连接网络编程
java·开发语言·后端·学习·个人开发
Pomelo_刘金8 小时前
用 DDD 把「闹钟」需求一点点捏出来
架构·rust·领域驱动设计
Pomelo_刘金8 小时前
Clean Architecture 整洁架构:借一只闹钟讲明白「整洁架构」的来龙去脉
后端·架构·rust