Flink学习---15、FlinkCDC(CDC介绍、案例实操)

                       星光下的赶路人star的个人主页

                      未来总是藏在迷雾中让人胆怯,但当你踏入其中,便会云开雾散

文章目录

  • 1、CDC简介
    • [1.1 什么是CDC](#1.1 什么是CDC)
    • [1.2 CDC的种类](#1.2 CDC的种类)
    • [1.3 Flink-CDC](#1.3 Flink-CDC)
  • 2、FlinkCDC案例实操
    • [2.1 开启MySQL Binlog并重启MySQL](#2.1 开启MySQL Binlog并重启MySQL)
    • [2.2 FlinkSQL方式的应用](#2.2 FlinkSQL方式的应用)
      • [2.2.1 导入依赖](#2.2.1 导入依赖)
      • [2.2.2 编写代码](#2.2.2 编写代码)

1、CDC简介

1.1 什么是CDC

CDC是Change Data Capture(变更数据获取)的简称。核心思想是,检测并捕获数据库的变动(包括数据或数据表的插入、更新以及删除等),将这些变更按发生的顺序完整记录下来,写入到消息中间件以及其他服务进行订阅及消费。

1.2 CDC的种类

CDC主要分为基于查询和基于Binlog两种方式,以下这两种之间的区别:

基于查询的CDC 基于Binlog的CDC
开源产品 Sqoop、DataX Canal、Maxwell
执行模式 Batch Streaming
是否可以捕获所有数据变化 否 是
延迟性 高延迟 低延迟
是否增加数据库压力 是 否

Flink摄取开发了Flink-cdc-connectors组件,这是一个可以直接从MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据的Source组件,

目前已经开源,开源地址:https://github.com/ververica/flink-cdc-connectors

2、FlinkCDC案例实操

2.1 开启MySQL Binlog并重启MySQL

java 复制代码
vim /etc/my.cnf

2.2 FlinkSQL方式的应用

2.2.1 导入依赖

xml 复制代码
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-table-planner-blink-loader
</artifactId>
    <version>1.17.0</version>
</dependency>

2.2.2 编写代码

java 复制代码
public class FlinkCDC_SQL {
    public static void main(String[] args) throws Exception {
        // TODO 1. 准备环境
        // 1.1 流处理环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        // 1.2 表执行环境
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);

        // TODO 2. 创建动态表
        tableEnv.executeSql("CREATE TABLE user_info (\n" +
                "id INT,\n" +
                "name STRING,\n" +
                "age INT,\n" +
                "primary key(id) not enforced\n" +
                ") WITH (" +
                "'connector' = 'mysql-cdc'," +
                "'hostname' = 'hadoop102'," +
                "'port' = '3306'," +
                "'username' = 'root'," +
                "'password' = '123456'," +
                "'database-name' = 'test'," +
                "'table-name' = 'user'" +
                ")");

        tableEnv.executeSql("select * from user_info").print();

        // TODO 3. 执行任务
        env.execute();
    }
}

运行截图:

MySQL表数据截图:

                      您的支持是我创作的无限动力

                      希望我能为您的未来尽绵薄之力

                      如有错误,谢谢指正;若有收获,谢谢赞美

相关推荐
字节跳动数据平台29 分钟前
火山引擎 VeKnow 落地指南(上):从选场景到知识治理
大数据
蒸蒸yyyyzwd1 小时前
后端学习笔记,设计模式相关以及微服务相关
笔记·学习
Hhy_11071 小时前
《C++深度解构07》手撕 vector —— 从底层三指针架构到迭代器失效彻底吃透
c语言·开发语言·c++·学习·visual studio
艾莉丝努力练剑2 小时前
【QT】系统相关:TCP的API介绍
开发语言·前端·c++·人工智能·qt·学习·tcp/ip
安心联-车辆监控管理系统2 小时前
以事实为基础,详解车辆主动安全相关功能
大数据·人工智能·安全
yiangL_16 小时前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
大大大大晴天17 小时前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云18 小时前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
优化Henry18 小时前
LTE 站点 S1 链路反复闪断导致小区频闪退服故障排查
运维·网络·学习·信息与通信·tdd
演艺大赏19 小时前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop