Apache Flink CDC (Change Data Capture) mysql Kafka

比如使用 Flink CDC , 监听mysql bin-log日志实现数据的实时同步, 发送到kafka

阿里开源的神仙工具,完美实现数据同步!#程序员阿里开源的这个神器很好很强大。阿里开源的这个神器全面超越Canal,果然在国内开源领域能干掉阿里的只有阿里自己。把数据库当中的数据同步到其他的数据源当中,用于数据的备份、容灾、分发、采集一直都是Canal的强项。但是Canal有一个局限性,就是它只能针对增量的binlog做监听,实现增量的数据同步。

而有这样的一个框架Apache Flink CDC,它不仅支持增量的数据同步,还支持存量的数据同步,同时还支持断点续传、无锁读取、并发读取等等功能。更重要的是它是分布式架构的,可以实现很好的横向扩展,不仅它的性能要比Canal高很多,更重要的是它除了像支持MySQL、TiDB、HBase、pgSQL、kafka、ES等等数据源之外,还支持很多分布式系统,比如HDFS、Iceberg等等,总之就是非常强大。

这个项目就是大名鼎鼎的FlinkCDC,Flink不用我介绍了,CDC就是data capture的意思。这个项目现在已经捐献给Apache,作为ApacheFlink的一个重要组件。如果你需要做数据同步备份等操作,FlinkCDC一定是个不二选择。

XML 复制代码
        <flink.version>1.18.0</flink.version>
        
        <!--mysql-cdc-->
        <dependency>
            <groupId>com.ververica</groupId>
            <artifactId>flink-connector-mysql-cdc</artifactId>
            <version>3.0.1</version>
        </dependency>
        
       <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka</artifactId>
            <version>3.0.1-1.18</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-runtime</artifactId>
            <version>${flink.version}</version>
        </dependency>
相关推荐
TDengine (老段)38 分钟前
TDengine 时间函数 TODAY() 用户手册
大数据·数据库·物联网·oracle·时序数据库·tdengine·涛思数据
悟乙己1 小时前
数据科学家如何更好地展示自己的能力
大数据·数据库·数据科学家
东哥说-MES|从入门到精通2 小时前
Mazak MTF 2025制造未来参观总结
大数据·网络·人工智能·制造·智能制造·数字化
盟接之桥2 小时前
盟接之桥说制造:在安全、确定与及时之间,构建品质、交期与反应速度的动态平衡
大数据·运维·安全·汽车·制造·devops
链上日记3 小时前
STC携手VEX发起全球首个碳资产RWA生态,泰国峰会即将引爆绿色金融
大数据
用户Taobaoapi20143 小时前
京东商品列表API(JD.item_search)
大数据·数据挖掘·数据分析
用户Taobaoapi20143 小时前
京东商品评论API开发指南
大数据·数据挖掘·数据分析
微三云-轩4 小时前
小程序:12亿用户的入口,企业数字化的先锋军
大数据·小程序·开源软件
数据智研4 小时前
【数据分享】上市公司数字化转型相关词频统计数据(2000-2024)
大数据·数据分析
zskj_zhyl4 小时前
七彩喜智慧养老:科技向善,让“养老”变“享老”的智慧之选
大数据·人工智能·科技·物联网·机器人