Flink学习---15、FlinkCDC(CDC介绍、案例实操)

                       星光下的赶路人star的个人主页

                      未来总是藏在迷雾中让人胆怯,但当你踏入其中,便会云开雾散

文章目录

  • 1、CDC简介
    • [1.1 什么是CDC](#1.1 什么是CDC)
    • [1.2 CDC的种类](#1.2 CDC的种类)
    • [1.3 Flink-CDC](#1.3 Flink-CDC)
  • 2、FlinkCDC案例实操
    • [2.1 开启MySQL Binlog并重启MySQL](#2.1 开启MySQL Binlog并重启MySQL)
    • [2.2 FlinkSQL方式的应用](#2.2 FlinkSQL方式的应用)
      • [2.2.1 导入依赖](#2.2.1 导入依赖)
      • [2.2.2 编写代码](#2.2.2 编写代码)

1、CDC简介

1.1 什么是CDC

CDC是Change Data Capture(变更数据获取)的简称。核心思想是,检测并捕获数据库的变动(包括数据或数据表的插入、更新以及删除等),将这些变更按发生的顺序完整记录下来,写入到消息中间件以及其他服务进行订阅及消费。

1.2 CDC的种类

CDC主要分为基于查询和基于Binlog两种方式,以下这两种之间的区别:

基于查询的CDC 基于Binlog的CDC
开源产品 Sqoop、DataX Canal、Maxwell
执行模式 Batch Streaming
是否可以捕获所有数据变化 否 是
延迟性 高延迟 低延迟
是否增加数据库压力 是 否

Flink摄取开发了Flink-cdc-connectors组件,这是一个可以直接从MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据的Source组件,

目前已经开源,开源地址:https://github.com/ververica/flink-cdc-connectors

2、FlinkCDC案例实操

2.1 开启MySQL Binlog并重启MySQL

java 复制代码
vim /etc/my.cnf

2.2 FlinkSQL方式的应用

2.2.1 导入依赖

xml 复制代码
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-table-planner-blink-loader
</artifactId>
    <version>1.17.0</version>
</dependency>

2.2.2 编写代码

java 复制代码
public class FlinkCDC_SQL {
    public static void main(String[] args) throws Exception {
        // TODO 1. 准备环境
        // 1.1 流处理环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        // 1.2 表执行环境
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);

        // TODO 2. 创建动态表
        tableEnv.executeSql("CREATE TABLE user_info (\n" +
                "id INT,\n" +
                "name STRING,\n" +
                "age INT,\n" +
                "primary key(id) not enforced\n" +
                ") WITH (" +
                "'connector' = 'mysql-cdc'," +
                "'hostname' = 'hadoop102'," +
                "'port' = '3306'," +
                "'username' = 'root'," +
                "'password' = '123456'," +
                "'database-name' = 'test'," +
                "'table-name' = 'user'" +
                ")");

        tableEnv.executeSql("select * from user_info").print();

        // TODO 3. 执行任务
        env.execute();
    }
}

运行截图:

MySQL表数据截图:

                      您的支持是我创作的无限动力

                      希望我能为您的未来尽绵薄之力

                      如有错误,谢谢指正;若有收获,谢谢赞美

相关推荐
Rabitebla1 小时前
【Linux】文件篇(六):Shell 实战——从系统调用到命令行重定向
linux·服务器·c++·笔记·学习
Star(up up up)2 小时前
MySQL 事务隔离级别是如何实现的?从 MVCC 到锁机制原理详解
笔记·vscode·sql·学习·程序人生·mysql·学习方法
starzy19902 小时前
Structured Streaming 案例剖析:一个 8 万 QPS 实时大屏的完整落地与三次线上事故复盘
大数据·spark
大大大大晴天12 小时前
浅聊维度建模中的星型模型与雪花模型
大数据
数字新视界17 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天17 小时前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
如夏倾城18 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
Z21-X19 小时前
云原生运维学习笔记:Kubernetes Volume 与 Secret 实验
运维·笔记·学习·云原生·kubernetes
wuyk55519 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
培培说证19 小时前
大数据与会计专业性价比高的证书有哪些?
大数据