【大数据面试题】014 Flink CDC 用过吗,请简要描述

一步一个脚印,一天一道面试题。

Flink CDC 的全称是 Change Data Capture(变更数据捕获) 每一项技术的诞生都是为了解决某个问题,某个痛点。而 Flink CDC 的诞生就是为了解决在读取,监控 MySQL 这样的数据库时,不会因为读取数据库,对数据库本身造成压力,影响性能。同时,保证了数据源的准确,正确。

  1. 方式一 :通过查询来获取更新的数据。
    如查询数据库:
sql 复制代码
select * from table1 where create_time >{传入上次查询时间}

这原理非常简单,就是查询上次查询期间创建或更新的数据。但缺点也非常明显:1.查询慢 ,数据一多你这么查就快不了。 2.额外的查询会给组件带来性能压力。

  1. 方式二

通过监控日志获取变化的数据。
Flink CDC 的原理是监控数据库比如 MySQLBinlog
BinlogMySQL 这样的带事务的数据库为了一致性写的日志。每次有数据的更新,操作都会有对应的 log 产生。我们可以先全量读取一份数据,再通过监控 Binlog来同步更新数据。

Binlog 是原本就有的,没有 Flink CDC 也不会减少日志量,所以不会影响数据库本身性能。

java 复制代码
	import com.ververica.cdc.connectors.mysql.source.MySqlSource;
	import com.ververica.cdc.connectors.mysql.table.StartupOptions;
	
	// 配置获取 MySQLSource
	MySqlSource<String> mysqlSource = MySqlSource.<String>builder()
                .hostname("hostname")
                .port(3306)
                .username("root")
                .password("123456")
                .databaseList("database_name")
                .tableList("table_name")
                .jdbcProperties(prop)
                .serverTimeZone("Asia/Shanghai")
                // 反序列化(这里指定为 Json)
                .deserializer(new JsonDebeziumDeserializationSchema())
                // 是否需要先读一份完整的数据
                .startupOptions(StartupOptions.initial())
                .build();

	// 获取对应流 Stream
	DataStreamSource<String> mySqlSourceStream = env.fromSource(mysqlSource, WatermarkStrategy.noWatermarks(), "mysql_source");

    mySqlSourceStream .print();

	env.execute();

我是 Jiweilai,祝你变得更强!

相关推荐
TDengine (老段)8 分钟前
TDengine 数据函数 ROUND 用户手册
java·大数据·数据库·物联网·时序数据库·tdengine·1024程序员节
TDengine (老段)10 分钟前
TDengine 数学函数 RAND 用户手册
java·大数据·数据库·物联网·时序数据库·tdengine·涛思数据
烟袅16 分钟前
告别 var!深入理解 JavaScript 中 var、let 和 const 的差异与最佳实践
javascript·面试
Web3_Daisy43 分钟前
冷换仓的隐性代价:从安全策略到地址信誉体系的重新思考
大数据·安全·web3·区块链·比特币·1024程序员节
WLJT1231231231 小时前
生活电器:重构家居体验的产业变革与发展探索
大数据·人工智能·科技·生活
GIS数据转换器2 小时前
城市基础设施安全运行监管平台
大数据·运维·人工智能·物联网·安全·无人机·1024程序员节
搞科研的小刘选手3 小时前
【云计算专题会议】第二届云计算与大数据国际学术会议(ICCBD 2025)
大数据·人工智能·物联网·5g·云计算·6g·智能通信
电商软件开发 小银3 小时前
微信生态新机遇:视频号推客模式助力商家突围
大数据·人工智能·twitter·系统开发·实体店转型·数字化经济·视频号推客模式
初级程序员Kyle3 小时前
开始改变第一天 JVM的原理到调优(2)
java·面试
绝无仅有4 小时前
京东面试题解析:同步方法、线程池、Spring、Dubbo、消息队列、Redis等
后端·面试·github