cdc

flink SQL实现mysql source sink接上文：一文说清flink从编码到部署上线环境说明：MySQL：5.7；flink：1.14.0；hadoop：3.0.0；操作系统：CentOS 7.6；JDK：1.8.0_401。

flink实现复杂kafka数据读取接上文：一文说清flink从编码到部署上线环境说明：MySQL：5.7；flink：1.14.0；hadoop：3.0.0；操作系统：CentOS 7.6；JDK：1.8.0_401。

一文说清flink从编码到部署上线引言：目前flink的文章比较多、杂，很少有一个文章，从一个简单的例子入手，说清楚从编码、构建、部署全流程是怎么样的。所以编写本文，自己做个记录备查同时跟大家分享一下。本文以简单的mysql cdc为例展开说明。环境说明：MySQL：5.7；flink：1.14.0；hadoop：3.0.0；操作系统：CentOS 7.6；JDK：1.8.0_401。

鸿乃江边鸟

Flink CDC 使用实践以及遇到的问题最近公司在做一些业务上的架构调整，有一部分是数据从mysql采集到Starrocks，之前的一套方法是走 debezium 到 puslar 到 starrocks,这一套下来比较需要配置很多东西，而且出现问题以后，需要修改很多配置，而且现阶段问题比较多，且采集的是所有线上的数据库，维护起来很费劲。于是我们进行了采集的数据流调整，使用 Flink CDC这一套，这一套是端到端的，且采用配置化的方式，支持schema的变更，无需再多一层中间存储层。

Debezium-KafkaDatabaseHistoryKafkaDatabaseHistory类主要用来保存和恢复历史记录存储记录：在 storeRecord 方法中将数据库历史记录发送到指定的Kafka主题。恢复记录：在 recoverRecords 方法中使用Kafka消费者从指定主题中读取并处理历史记录

鸿乃江边鸟

Flink CDC 源码解析--整体流程本文基于 Flink CDC 3.2.0 最近在做了一个实时数据抽取的工作，也就是比较简单的从mysql到Starrocks的工作，其实这种有很多中实现，比如说

Apache SeaTunnel 介绍SeaTunnel是一个非常易用、超高性能的分布式数据集成平台，支持实时海量数据同步。每天可稳定高效同步数百亿数据，已被近百家企业应用于生产。

鸿乃江边鸟

记一次 Flink mongoDB CDC 到Kafka遇到的问题最近在做一个数据接入的部分事情，从mongo导入到 adb，趁着做的事情聊一下Flink内部的一些机制。首先这会拆分两个部分，一部分是从 mongo 到 Kafka，另一部分是从 Kafka 到 adb，其中遇到了一些问题，比如说 CDC 的机制， upset kafka source 和 kafka source的一些区别等 mongo 的版本为 4.4.x

【 STM32开发】

STM32 -- USB CDC 虚拟串口通信本篇操作:目录一、 STM32内置USB、虚拟串口简述二、CubeMX 新建工程三、Keil 工程配置

详解mysql和消息队列数据一致性问题目录前言保持系统数据同步（双写问题）消息队列消息丢失的问题总结在当今互联网飞速发展的时代，随着业务复杂性的不断增加，消息队列作为一种重要的技术手段，越来越多地被应用于各种场景。它们不仅能有效解耦系统各部分之间的联系，还能够平衡流量峰值，提高系统的整体性能。

在路上-正出发

【Verilog-CBB】开发与验证（2）——单比特信号CDC同步器多时钟域的设计中，CDC处理的场景还是蛮多的。单比特信号在CDC时，为保证信号采样的安全性，降低亚稳态，必须要对信号做同步处理。CDC从时钟的快慢关系来说分为两种case：快到慢、慢到快。对于脉冲型的控制信号，在以上两种case中都需要满足如下条件才能保证控制信号CDC的安全性：

使用Flink CDC实现 Oracle数据库数据同步（非SQL）Flink CDC 是一个基于流的数据集成工具，旨在为用户提供一套功能更加全面的编程接口（API）。该工具使得用户能够以 YAML 配置文件的形式实现数据库同步，同时也提供了Flink CDC Source Connector API。 Flink CDC 在任务提交过程中进行了优化，并且增加了一些高级特性，如表结构变更自动同步（Schema Evolution）、数据转换（Data Transformation）、整库同步（Full Database Synchronization）以及精确一次（E

大数据东哥(Aidon)

Flink CDC详解CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC 。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。

跨时钟域学习记录（一）亚稳态是电平介于高低电平之间的一种暂时状态。在同步系统中，当寄存器的信号无法满足建立时间和保持时间时，输出端的信号就可能出现亚稳态。在异步系统中，亚稳态并非一定在建立时间和保持时间无法满足时出现。受噪声、温度、电压纹波等因素的影响，多数情况下，信号在经过一段时间（受工作条件影响）后会从亚稳态回到一个稳定的状态，然而具体逻辑电平的值是不可预知的（0或1）。下图以滚球模型形式介绍了寄存器输出的三种可能状态。

Flink CDC 提取记录变更时间作为事件时间和 Hudi 表的 precombine.field 以及1970-01-01 取值问题CDC 数据中的记录变更时间标记着这条记录在数据库中执行对应操作（创建/更新/删除）的时间，可以说是天然的“事件时间”，特别是对于那些本身没有记录时间字段的表来说就更加合适了。Flink 官方文档也建议在使用 CDC 的情况下，优先使用 CDC 中的这个时间字段，这个时间更加精准。

Flink cdc debug调试动态变更表结构接着上一篇Flink cdc3.0动态变更表结构——源码解析，cdc debug部分官方没有特别说明，尝试踩了一些坑，这里记录下。

Flink 流式读取 Debezium CDC 数据写入 Hudi 表无法处理 -D / Delete 消息问题场景是：使用 Kafka Connect 的 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据（Avro 格式）接入到 Kafka 之后，通过 Flink 读取并解析这些 CDC 数据，然后以流式方式写入到 Hudi 表中，测试中发现，INSERT 和 UPDATE 消息都能很好的处理，但是，-D 类型的 Delete 消息被忽略了，即使已经开启了 ‘changelog.enabled’ = ‘true’ ，既然无效。测试版本：Flink 1.17.1

【STM32】STM32F4中USB的CDC虚拟串口（VCP）使用方法最近在学习STM32的USB功能，主要是想要使用虚拟串口（VCP）功能，来解决串口传输速率较低的问题，达到于上位机高效通信的目的。使用芯片：STM32F407ZGT6 使用函数：HAL库使用工具：STM32CubeMX + Keil uVision5 串口工具：VOFA

【大数据】Flink 详解（十）：SQL 篇 Ⅲ《Flink 详解》系列（已完结），共包含以下 10 10 10 篇文章：😊 如果您觉得这篇文章有用 ✔️ 的话，请给博主一个一键三连 🚀🚀🚀 吧（点赞 🧡、关注 💛、收藏 💚）！！！您的支持 💖💖💖 将激励 🔥 博主输出更多优质内容！！！

戴莫先生Study平台

FlinkSQL实战开发FlinkSQL分为Table API和SQL API，是架构于Flink Core之上用SQL予以方便快捷地进行结构化数据处理的上层库。