kafka 存储flink changelog两种方式和形态

1 使用upsert-kafka connecter,按照connecter的规则写入

Upsert Kafka | Apache Flink

作为数据源,upsert-kafka 连接器会生成一个变更日志流,其中每条数据记录代表一次更新或删除事件。更准确地说,数据记录中的值会被解释为对同一键的上一个值进行更新(如果存在),如果对应的键尚不存在,则更新操作会被视为插入操作。以表为例,变更日志流中的数据记录会被解释为 UPSERT(即插入/更新),因为任何具有相同键的现有行都会被覆盖。此外,空值会被特殊解释:空值记录代表"删除"操作。

2 kafka connector + 使用cdc格式 比如 format:debezium-json、canal-json、maxwell-json

Debezium | Apache Flink

相关推荐
Alluxio6 小时前
Alluxio + OCI:为 AI 工作负载实现亚毫秒访问延迟与可扩展吞吐
运维·数据库·人工智能·分布式·缓存·ai·语言模型
阿卡好可爱11 小时前
Lua 热更新不生效:改完文件线上仍是旧逻辑,package.loaded 与 upvalue 重绑定详解
数据结构·分布式·后端·架构·lua
我不会起名字3221 天前
消费回调固定 return nil:错误传播与 Kafka 位点提交的区别
后端·mongodb·kafka·go·im·故障排查
qq_452396231 天前
第十篇:《Kafka 安全加固:SASL、SSL、ACL 与多租户隔离》
安全·kafka·ssl
用户3610588626122 天前
KafkaProducer 元数据管理:send() 卡住时,它在等什么
kafka
方方洛2 天前
ray教程-28-附录G-CICD与Slurm与云上调度
人工智能·分布式·机器学习
空奈qwq3 天前
【Kafka 从入门到实战】从手写一个队列到生产级消息中间件:架构、分区、消费组、零拷贝全解析
分布式·架构·kafka
且从容.3 天前
ubuntu安装flink
linux·ubuntu·flink
山甫aa3 天前
锁一篇搞定:乐观锁、悲观锁、CAS、数据库锁与分布式锁【从零开始的 Web 后端学习】
java·数据库·分布式·后端·学习·web