Flink CDC 原理:Snapshot、Binlog 与 Checkpoint

CDC(Change Data Capture)即变更数据捕获,核心目的是实时获取数据库中的数据变化。

以 MySQL 为例:

复制代码
MySQL → Flink CDC → StarRocks

Flink CDC 负责从 MySQL 获取:

  • 历史数据:Snapshot

  • 实时变更:Binlog

  • 任务状态:Checkpoint

最终将数据同步到下游系统。


整体可以理解为:

复制代码
                 MySQL
                   │
          ┌────────┴────────┐
          │                 │
       Snapshot           Binlog
          │                 │
          └────────┬────────┘
                   ↓
               Flink CDC
                   │
                   ↓
              StarRocks

核心流程:

复制代码
Snapshot 全量
      ↓
捕获期间产生的 Binlog
      ↓
追平 Binlog
      ↓
持续消费 Binlog

三、Snapshot:同步历史数据

第一次启动 CDC 时,数据库中已经存在大量历史数据,需要先进行全量同步。

Flink CDC 会对 MySQL 做 Snapshot。

对于大表,通常会使用 Incremental Snapshot,按照主键范围把数据拆成多个 Chunk:

复制代码
1000万数据

Chunk 1:1 ~ 100万
Chunk 2:100万 ~ 200万
Chunk 3:200万 ~ 300万
...

多个 Chunk 可以并行读取,提高全量同步效率。


四、Snapshot 期间如何处理数据变化?

这是 CDC 最关键的地方。

Snapshot 进行过程中,MySQL 仍然可以正常执行:

复制代码
INSERT
UPDATE
DELETE

这些变化会进入 MySQL Binlog。

因此不能简单理解成:

复制代码
先做全量
↓
全量完成
↓
再开始监听 Binlog

否则 Snapshot 期间产生的数据变化就可能丢失。

实际逻辑是:

复制代码
        Snapshot
           │
           │ MySQL继续写入
           ↓
        Binlog
           │
           ↓
Snapshot完成后继续处理对应Binlog
           │
           ↓
        持续增量

Flink CDC 会协调 Snapshot 和 Binlog 的位置,使 Snapshot 数据和期间产生的 Binlog 变化能够正确衔接。


五、Binlog:同步实时变化

Snapshot 完成后,Flink CDC 进入持续增量阶段。

MySQL 的:

复制代码
INSERT
UPDATE
DELETE

都会记录到 Binlog。

Flink CDC 持续读取这些 Binlog 事件,然后发送到下游。

例如:

复制代码
MySQL

UPDATE user SET name = 'Tom' WHERE id = 1
            ↓
          Binlog
            ↓
        Flink CDC
            ↓
       StarRocks

这样 MySQL 的数据变化就可以实时同步到下游。


六、Checkpoint:故障恢复

Flink CDC 运行过程中还需要解决一个问题:

如果任务挂了,恢复以后从哪里继续?

这由 Flink 的 Checkpoint 机制解决。

Checkpoint 会保存任务当前的状态和 Source 消费进度。

例如:

复制代码
Binlog

100
101
102
103
104

Checkpoint 已经成功保存到:

复制代码
103

如果任务处理过程中发生故障,恢复后可以根据 Checkpoint 恢复之前的状态和消费位置。

因此:

复制代码
Snapshot   → 解决历史数据
Binlog     → 解决实时变化
Checkpoint → 解决故障恢复

传统方案可能是:

复制代码
MySQL
  ↓
Canal
  ↓
自研消费者
  ↓
StarRocks

需要自己处理:

  • 全量和增量衔接

  • Binlog 位点

  • 失败重试

  • 状态保存

  • 故障恢复

使用 Flink CDC 后,可以把这些能力放到 Flink 作业中统一管理:

复制代码
MySQL
  ↓
Flink CDC
  ├── Snapshot
  ├── Binlog
  └── Checkpoint
  ↓
StarRocks

八、MySQL → StarRocks 实际架构

如果业务是把 MySQL 数据同步到 StarRocks,可以直接使用:

复制代码
MySQL
   │
   │ Snapshot + Binlog
   ↓
Flink CDC
   │
   │ StarRocks Connector
   ↓
StarRocks

StarRocks 侧通常使用适合 CDC 的表模型承接:

复制代码
INSERT
UPDATE
DELETE

具体表模型和 Connector 配置需要根据 StarRocks 和 Flink CDC 的版本确定。


九、总结

Flink CDC 的核心其实就是三个东西:

复制代码
Snapshot
    ↓
获取历史数据

Binlog
    ↓
获取实时变化

Checkpoint
    ↓
保存状态,实现故障恢复

完整流程:

复制代码
MySQL
  │
  ├── Snapshot ──────────┐
  │                      ↓
  └── Binlog ───────→ Flink CDC
                           │
                     Checkpoint
                           │
                           ↓
                      StarRocks

最重要的一点是:

Snapshot 不是做完以后才开始增量,而是需要和 Binlog 协同,保证全量初始化期间产生的变更不会丢失。

这也是 Flink CDC 能够完成"全量 + 增量"一致衔接的核心。

官方资料

相关推荐
玖米GEO运营王总监20 分钟前
成都AI数字人视频怎么批量生产?流程与合规标注
大数据·人工智能·音视频
龙腾AI白云2 小时前
数字孪生与计算机视觉:让机器看懂现场
大数据·数据库·机器学习·知识图谱·pygame
starzy19904 小时前
Structured Streaming 案例剖析:一个 8 万 QPS 实时大屏的完整落地与三次线上事故复盘
大数据·spark
大大大大晴天14 小时前
浅聊维度建模中的星型模型与雪花模型
大数据
数字新视界19 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天19 小时前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
如夏倾城21 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
wuyk55521 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
培培说证21 小时前
大数据与会计专业性价比高的证书有哪些?
大数据
伞伞悦读1 天前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习