cdc

鸿乃江边鸟

Flink CDC 源码解析--整体流程本文基于 Flink CDC 3.2.0 最近在做了一个实时数据抽取的工作，也就是比较简单的从mysql到Starrocks的工作，其实这种有很多中实现，比如说

Apache SeaTunnel 介绍SeaTunnel是一个非常易用、超高性能的分布式数据集成平台，支持实时海量数据同步。每天可稳定高效同步数百亿数据，已被近百家企业应用于生产。

鸿乃江边鸟

记一次 Flink mongoDB CDC 到Kafka遇到的问题最近在做一个数据接入的部分事情，从mongo导入到 adb，趁着做的事情聊一下Flink内部的一些机制。首先这会拆分两个部分，一部分是从 mongo 到 Kafka，另一部分是从 Kafka 到 adb，其中遇到了一些问题，比如说 CDC 的机制， upset kafka source 和 kafka source的一些区别等 mongo 的版本为 4.4.x

【 STM32开发】

STM32 -- USB CDC 虚拟串口通信本篇操作:目录一、 STM32内置USB、虚拟串口简述二、CubeMX 新建工程三、Keil 工程配置

详解mysql和消息队列数据一致性问题目录前言保持系统数据同步（双写问题）消息队列消息丢失的问题总结在当今互联网飞速发展的时代，随着业务复杂性的不断增加，消息队列作为一种重要的技术手段，越来越多地被应用于各种场景。它们不仅能有效解耦系统各部分之间的联系，还能够平衡流量峰值，提高系统的整体性能。

在路上-正出发

【Verilog-CBB】开发与验证（2）——单比特信号CDC同步器多时钟域的设计中，CDC处理的场景还是蛮多的。单比特信号在CDC时，为保证信号采样的安全性，降低亚稳态，必须要对信号做同步处理。CDC从时钟的快慢关系来说分为两种case：快到慢、慢到快。对于脉冲型的控制信号，在以上两种case中都需要满足如下条件才能保证控制信号CDC的安全性：

使用Flink CDC实现 Oracle数据库数据同步（非SQL）Flink CDC 是一个基于流的数据集成工具，旨在为用户提供一套功能更加全面的编程接口（API）。该工具使得用户能够以 YAML 配置文件的形式实现数据库同步，同时也提供了Flink CDC Source Connector API。 Flink CDC 在任务提交过程中进行了优化，并且增加了一些高级特性，如表结构变更自动同步（Schema Evolution）、数据转换（Data Transformation）、整库同步（Full Database Synchronization）以及精确一次（E

大数据东哥(Aidon)

Flink CDC详解CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC 。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。

跨时钟域学习记录（一）亚稳态是电平介于高低电平之间的一种暂时状态。在同步系统中，当寄存器的信号无法满足建立时间和保持时间时，输出端的信号就可能出现亚稳态。在异步系统中，亚稳态并非一定在建立时间和保持时间无法满足时出现。受噪声、温度、电压纹波等因素的影响，多数情况下，信号在经过一段时间（受工作条件影响）后会从亚稳态回到一个稳定的状态，然而具体逻辑电平的值是不可预知的（0或1）。下图以滚球模型形式介绍了寄存器输出的三种可能状态。

Flink CDC 提取记录变更时间作为事件时间和 Hudi 表的 precombine.field 以及1970-01-01 取值问题CDC 数据中的记录变更时间标记着这条记录在数据库中执行对应操作（创建/更新/删除）的时间，可以说是天然的“事件时间”，特别是对于那些本身没有记录时间字段的表来说就更加合适了。Flink 官方文档也建议在使用 CDC 的情况下，优先使用 CDC 中的这个时间字段，这个时间更加精准。

Flink cdc debug调试动态变更表结构接着上一篇Flink cdc3.0动态变更表结构——源码解析，cdc debug部分官方没有特别说明，尝试踩了一些坑，这里记录下。

Flink 流式读取 Debezium CDC 数据写入 Hudi 表无法处理 -D / Delete 消息问题场景是：使用 Kafka Connect 的 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据（Avro 格式）接入到 Kafka 之后，通过 Flink 读取并解析这些 CDC 数据，然后以流式方式写入到 Hudi 表中，测试中发现，INSERT 和 UPDATE 消息都能很好的处理，但是，-D 类型的 Delete 消息被忽略了，即使已经开启了 ‘changelog.enabled’ = ‘true’ ，既然无效。测试版本：Flink 1.17.1

【STM32】STM32F4中USB的CDC虚拟串口（VCP）使用方法最近在学习STM32的USB功能，主要是想要使用虚拟串口（VCP）功能，来解决串口传输速率较低的问题，达到于上位机高效通信的目的。使用芯片：STM32F407ZGT6 使用函数：HAL库使用工具：STM32CubeMX + Keil uVision5 串口工具：VOFA

【大数据】Flink 详解（十）：SQL 篇 Ⅲ《Flink 详解》系列（已完结），共包含以下 10 10 10 篇文章：😊 如果您觉得这篇文章有用 ✔️ 的话，请给博主一个一键三连 🚀🚀🚀 吧（点赞 🧡、关注 💛、收藏 💚）！！！您的支持 💖💖💖 将激励 🔥 博主输出更多优质内容！！！

戴莫先生Study平台

FlinkSQL实战开发FlinkSQL分为Table API和SQL API，是架构于Flink Core之上用SQL予以方便快捷地进行结构化数据处理的上层库。

【大数据】基于 Flink CDC 构建 MySQL 和 Postgres 的 Streaming ETL这篇教程将展示如何基于 Flink CDC 快速构建 MySQL 和 Postgres 的流式 ETL。本教程的演示都将在 Flink SQL CLI 中进行，只涉及 SQL，无需一行 Java / Scala 代码，也无需安装 IDE。

Flink CDC 1.0至3.0回忆录回想起2020下半年，刚从Storm/JStorm转到Flink完成了一些中间件重构，Flink CDC就横空出世了，这对于实时采集侧简直是福音。当时便立即组织团队的小伙伴们，选择了几个下班前一小时的时间段，开始学习（云邪是多少学习Flink CDC小伙伴的启蒙老师？）：

Flink cdc3.0同步实例（动态变更表结构、分库分表同步）在FLink cdc 2.x的版本，各企业做了许多类似的基础功能改造工作（B站 2022年企业flink cdc实践分享）。最近Flink CDC 3.0发布，schema 变更自动同步、整库同步、分库分表等增强功能使 Flink CDC 3.0 在更复杂的数据集成与用户业务场景中发挥作用：用户无需在数据源发生 schema 变更时手动介入，大大降低用户的运维成本；只需对同步任务进行简单配置即可将多表、多库同步至下游，并进行合并等逻辑，显著降低用户的开发难度与入门门槛。Flink CDC 3.0 正式

Kafka（六）利用Kafka Connect+Debezium通过CDC方式将Oracle数据库的数据同步至PostgreSQL中强烈建议阅读这篇confluent官方关于CDC的博文，写的非常好还包含了示例代码。可能你读完了之后，都不需要看我下面写的大部分内容。

Flink CDC MySQL同步MySQL错误记录问题1：Encountered “(” 处理方法：去掉int(11)，改为int问题2：Encountered “AUTO_INCREMENT” 处理方法：删除AUTO_INCREMENT