Apache Flink CDC (Change Data Capture) mysql Kafka

攻心的子乐2025-02-25 12:43

比如使用 Flink CDC , 监听mysql bin-log日志实现数据的实时同步, 发送到kafka

springboot整合flink cdc监听数据库数据

阿里开源的神仙工具，完美实现数据同步！#程序员阿里开源的这个神器很好很强大。阿里开源的这个神器全面超越Canal，果然在国内开源领域能干掉阿里的只有阿里自己。把数据库当中的数据同步到其他的数据源当中，用于数据的备份、容灾、分发、采集一直都是Canal的强项。但是Canal有一个局限性，就是它只能针对增量的binlog做监听，实现增量的数据同步。

而有这样的一个框架Apache Flink CDC，它不仅支持增量的数据同步，还支持存量的数据同步，同时还支持断点续传、无锁读取、并发读取等等功能。更重要的是它是分布式架构的，可以实现很好的横向扩展，不仅它的性能要比Canal高很多，更重要的是它除了像支持MySQL、TiDB、HBase、pgSQL、kafka、ES等等数据源之外，还支持很多分布式系统，比如HDFS、Iceberg等等，总之就是非常强大。

这个项目就是大名鼎鼎的FlinkCDC，Flink不用我介绍了，CDC就是data capture的意思。这个项目现在已经捐献给Apache，作为ApacheFlink的一个重要组件。如果你需要做数据同步备份等操作，FlinkCDC一定是个不二选择。

XML 复制代码

        <flink.version>1.18.0</flink.version>
        
        <!--mysql-cdc-->
        <dependency>
            <groupId>com.ververica</groupId>
            <artifactId>flink-connector-mysql-cdc</artifactId>
            <version>3.0.1</version>
        </dependency>
        
       <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka</artifactId>
            <version>3.0.1-1.18</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-runtime</artifactId>
            <version>${flink.version}</version>
        </dependency>