flinkcdc

SelectDB技术团队

Apache Doris Flink Connector 24.0.0 版本正式发布亲爱的社区伙伴们，Apache Doris Flink Connector 24.0.0 版本已于 2024 年 9 月 5 日正式发布。该版本新增了对 Flink 1.20 的支持，并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。此外，整库同步所依赖的 FlinkCDC，也需升级至 3.1.x 版本，以便更好的应用。

FlinkCDC初体验1、pom依赖2、FlinkCDC-SQL运行结果：3、FlinkCDC-DataStream运行结果：

Flink CDC的使用注意：表必须有主键修改MySQL配置，开启binlog$ sudo vim /etc/my.cnf，添加如下设置

Flink实时数仓同步：实时表、流水表、快照表整合实战详解在大数据领域，数据分析、实时数仓已经成为平台上常见的功能之一。无论是进行实时分析还是离线分析，都离不开数仓中的表数据。

Flink实时数仓同步：实时表实战详解在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。

Flink实时数仓同步：切片表实战详解在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。

flinkcdc 3.0 源码学习之任务提交脚本flink-cdc.sh大道至简,用简单的话来描述复杂的事,我是Antgeek,欢迎阅读. 在flink 3.0版本中,我们仅通过一个简单yaml文件就可以配置出一个复杂的数据同步任务, 然后再来一句 bash bin/flink-cdc.sh mysql-to-doris.yaml 就可以将任务提交, 本文就是来探索一下这个shell脚本,主要是研究如何通过一个shell命令+yaml文件将任务提交,其他的功能会在之后的文章中解读大数据小菜鸡在努力学习中,文中内容有误多多指点.

Flink实时数仓同步：流水表实战详解在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。

Flink实时数仓同步：快照表实战详解在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。

flinkcdc 3.0 尝鲜本文会将从环境搭建到demo来全流程体验flinkcdc 3.0 包含了如下内容下载flink 1.18.0 链接 : https://archive.apache.org/dist/flink/flink-1.18.0/flink-1.18.0-bin-scala_2.12.tgz

深入解析 Flink CDC 增量快照读取机制Flink CDC 1.x 使用 Debezium 引擎集成来实现数据采集，支持全量加增量模式，确保数据的一致性。然而，这种集成存在一些痛点需要注意：

FlinkCDC系列：通过skipped.operations参数选择性处理新增、更新、删除数据在flinkCDC源数据配置，通过debezium.skipped.operations参数控制，配置需要过滤的 oplog 操作。操作包括 c 表示插入，u 表示更新，d 表示删除。默认情况下，不跳过任何操作，以逗号分隔。配置多个操作，需要英文逗号分隔。

FlinkCDC系列：数据同步对部分字段的处理，只更新部分字段在flinkCDC源数据配置中，只对表中的部分字段关注，通过监控部分字段进行数据更新或者不更新，对数据进行同步。主要通过以下两个参数：

FLinkCDCCDC 是 Change Data Capture（变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。

flinkcdc 体验java代码操作 flink Table/SQL API 和 DataStream API 编写程序后，打成jar包丢到flink集群运行，报错首选需要考虑flink集群版本和 jar包中maven依赖的版本是否一致。目前网上flink、flinkcdc相关博文绝大部分是基于flink1.13、1.14编写的，而我的flink集群是1.15！而flink1.15由于只支持scala-2.12，所以maven依赖包名发生了改变

Failed to rollback to checkpoint/savepoint hdfs://mycluster:8020/ck/sapgateway解決方法：需要加上-n參數

flinkcdc数据采集代码FlinkAPI使用flinkcdc采集mysql数据到kafka，经过长达两个月的各种调试，终于把调试后的版本给写出来了，进行的全量加增量的数据采集，并写了一个窗口，每隔10min中更新一次每张表同步到的数据量，使用FlinkAPI代码实现

flinkcdc同步完全量数据就不同步增量数据了使用flinkcdc同步mysql数据，使用的是全量采集模型 startupOptions(StartupOptions.earliest()) 全量阶段同步完成之后，发现并不开始同步增量数据，原因有以下两个：