Apache Flink CDC (Change Data Capture) mysql Kafka

比如使用 Flink CDC , 监听mysql bin-log日志实现数据的实时同步, 发送到kafka

阿里开源的神仙工具,完美实现数据同步!#程序员阿里开源的这个神器很好很强大。阿里开源的这个神器全面超越Canal,果然在国内开源领域能干掉阿里的只有阿里自己。把数据库当中的数据同步到其他的数据源当中,用于数据的备份、容灾、分发、采集一直都是Canal的强项。但是Canal有一个局限性,就是它只能针对增量的binlog做监听,实现增量的数据同步。

而有这样的一个框架Apache Flink CDC,它不仅支持增量的数据同步,还支持存量的数据同步,同时还支持断点续传、无锁读取、并发读取等等功能。更重要的是它是分布式架构的,可以实现很好的横向扩展,不仅它的性能要比Canal高很多,更重要的是它除了像支持MySQL、TiDB、HBase、pgSQL、kafka、ES等等数据源之外,还支持很多分布式系统,比如HDFS、Iceberg等等,总之就是非常强大。

这个项目就是大名鼎鼎的FlinkCDC,Flink不用我介绍了,CDC就是data capture的意思。这个项目现在已经捐献给Apache,作为ApacheFlink的一个重要组件。如果你需要做数据同步备份等操作,FlinkCDC一定是个不二选择。

XML 复制代码
        <flink.version>1.18.0</flink.version>
        
        <!--mysql-cdc-->
        <dependency>
            <groupId>com.ververica</groupId>
            <artifactId>flink-connector-mysql-cdc</artifactId>
            <version>3.0.1</version>
        </dependency>
        
       <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka</artifactId>
            <version>3.0.1-1.18</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-runtime</artifactId>
            <version>${flink.version}</version>
        </dependency>
相关推荐
计算机编程小央姐6 小时前
【Spark+Hive+hadoop】基于spark+hadoop基于大数据的人口普查收入数据分析与可视化系统
大数据·hadoop·数据挖掘·数据分析·spark·课程设计
鲲志说7 小时前
数据洪流时代,如何挑选一款面向未来的时序数据库?IoTDB 的答案
大数据·数据库·apache·时序数据库·iotdb
没有bug.的程序员7 小时前
MVCC(多版本并发控制):InnoDB 高并发的核心技术
java·大数据·数据库·mysql·mvcc
nju_spy9 小时前
南京大学 - 复杂结构数据挖掘(一)
大数据·人工智能·机器学习·数据挖掘·数据清洗·南京大学·相似性分析
哈哈很哈哈10 小时前
Flink SlotSharingGroup 机制详解
java·大数据·flink
豆豆豆大王10 小时前
头歌Kingbase ES内连接、外连接查询
大数据·数据库·elasticsearch
在未来等你11 小时前
Elasticsearch面试精讲 Day 20:集群监控与性能评估
大数据·分布式·elasticsearch·搜索引擎·面试
是店小二呀13 小时前
整合亮数据Bright Data与Dify构建自动化分析系统
大数据·自动化·dify·mcp·bright data
阿里云大数据AI技术14 小时前
云栖2025 | 阿里云自研大数据平台ODPS 重磅升级:全面支持AI计算和服务
大数据·人工智能
人间凡尔赛14 小时前
elasticsearch安装插件
大数据·elasticsearch·搜索引擎