技术栈
多流外键关联
菜鸟冲锋号
2 小时前
大数据
·
flink
·
数据湖
·
paimon
·
多流外键关联
Paimon 流 - 流增量关联(CDC 模式)具体实现方案
核心逻辑:两个实时数据流(如订单流 + 支付流)通过 Debezium 捕获 binlog 后,分别以 CDC 模式写入 Paimon 表(Paimon 自动维护数据的 insert/update/delete 一致性),再通过 Flink 的 批查询(全量关联) 和 流查询(增量关联) 实现外键匹配,关联结果可持久化到 Paimon 关联表,供 Doris 等下游直接查询。
我是有底线的