flink

Flink CDC支持Oracle RAC架构CDB+PDB模式的实时数据同步吗，可以上生产环境吗众所周知，Flink CDC是一个流数据集成工具，支持多种数据源的实时数据同步，包括大家所熟知的MySQL，MongoDB等。原本是作为Flink的子项目运行，后来捐献给Apache基金会，底层实现比较依赖于Flink生态。具体到数据同步底层实现则相对比较依赖于Debezium。

Flink Forward Asia 2025 主旨演讲精彩回顾作为 Apache Flink 社区备受瞩目的年度盛会之一，由阿里云承办的 Flink Forward Asia 2025 于 7 月 3 日在新加坡正式拉开帷幕。

Edingbrugh.南空

Flink ClickHouse 连接器：实现 Flink 与 ClickHouse 无缝对接在大数据处理领域，Apache Flink 是一款强大的流处理和批处理框架，而 ClickHouse 则是一个高性能的列式数据库，专为在线分析处理（OLAP）场景设计。Flink ClickHouse 连接器为这两者之间搭建了一座桥梁，使得用户能够在 Flink 中方便地与 ClickHouse 数据库进行交互，实现数据的读写操作。本文将详细介绍 Flink ClickHouse 连接器的相关内容，包括其特点、使用方法、依赖配置等。

Flink-05学习接上节，将FlinkJedisPoolConfig 从Kafka写入Redis上节成功实现了FlinkKafkaConsumer消费Kafka数据，并将数据写入到控制台，接下来将继续将计算的结果输入到redis中。

Flink-Checkpoint-1.源码流程检查点：triggerCheckpoint(CheckpointType checkpointType)->调triggerCheckpointFromCheckpointThread() -> 调triggerCheckpoint()重载方法 -> 调startTriggeringCheckpoint()

Flink-Source算子点位提交问题（Earliest）最近在做 Flink 任务数据源切换时遇到 offset 消费问题，遂写篇文章记录下来。切换时只修改了 source 算子的 topic，uid 等其他信息保持不变：

阿里云大数据AI技术

Flink Forward Asia 2025 主旨演讲精彩回顾作为 Apache Flink 社区备受瞩目的年度盛会之一，由阿里云承办的 Flink Forward Asia 2025 于 7 月 3 日在新加坡正式拉开帷幕。

Edingbrugh.南空

Flink ClickHouse 连接器数据读取源码深度解析在大数据处理流程中，从存储系统中高效读取数据是进行后续分析的基础。Flink ClickHouse 连接器为我们提供了从 ClickHouse 数据库读取数据的能力，使得我们可以将 ClickHouse 中存储的海量数据引入到 Flink 流处理或批处理作业中进行进一步的分析和处理。下面我们将深入解析其数据读取的源码实现，探索其背后的技术细节和优化策略。

Edingbrugh.南空

Flink ClickHouse 连接器维表源码深度解析在 Flink ClickHouse Connector 中，维表（Lookup Table）功能允许在流处理过程中实时地从外部数据库（这里是 ClickHouse）中查询数据，用于丰富流中的记录。下面我们将深入分析 ClickHouse 维表相关的源码。

Edingbrugh.南空

Flink TiDB CDC 环境配置与验证确保 TiDB 集群已部署 TiCDC 组件（版本需兼容 Flink CDC 3.0.1），并启动同步服务：

诗旸的技术记录与分享

Flink-1.19.0源码详解-番外补充3-StreamGraph图StreamGraph是Flink流处理作业的第一个计算调度流图，它是从用户编写的 DataStream API程序转换而来的逻辑图。StreamGraph由StreamNode与StreamEdge组成，StreamNode为记录数据处理的节点，StreamEdge为连接两个StreamNode的边。

Edingbrugh.南空

Flink MySQL CDC 环境配置与验证MySQL CDC 依赖二进制日志获取增量数据，需在 MySQL 配置文件（my.cnf 或 my.ini）中添加以下配置：

深入Flink核心概念：解锁大数据流处理的奥秘在大数据技术蓬勃发展的当下，数据处理的需求呈现出多样化与复杂化的态势。Flink 作为大数据领域的后起之秀，犹如一座明亮的灯塔，在数据的洪流中为开发者指明方向。它凭借独特的设计理念和强大的功能，在众多大数据框架中脱颖而出，被广泛应用于实时数据处理、复杂事件处理、机器学习等诸多场景，已然成为大数据技术栈中不可或缺的关键组成部分。今天，就让我们一同深入探索 Flink 的世界，揭开其核心概念的神秘面纱。

Edingbrugh.南空

Flink SQLServer CDC 环境配置与验证SQL Server CDC 依赖数据库级别的 CDC 功能及表级别的捕获配置，需按以下步骤启用：启用数据库 CDC

Edingbrugh.南空

Flink OceanBase CDC 环境配置与验证在 sys 租户创建管理用户（社区版示例）：在业务租户创建 CDC 用户：社区版获取 rootserver-list：

Edingbrugh.南空

Flink Postgres CDC 环境配置与验证PostgreSQL CDC 依赖逻辑解码功能获取增量变更，需在 postgresql.conf 中启用以下配置：

Paimon vs. HBase：全链路开销对比Paimon 在特定场景（如流式 Lookup Join）下，会为了极致的查询性能而引入额外的存储（本地磁盘 LookupFile）和计算（构建 LookupFile）开销。但这是一种用一次性的、可控的开销，换取后续持续、高吞吐、低延迟查询的典型权衡。

新时代多流Join的一个思路----Partial Update先提出一个历史问题：Flink流进行多流JOIN，高强度依赖状态和内存，一旦崩盘，数据没有任何保障，又耗资源，又担心崩溃，那么就没有一种更好的方式去解决吗？比如让每条流的数据对号入座，不需要关联，自己做自己的位置，由一个主键去串起来---Partial Update由此产生

Paimon也有聚合表了？当 Paimon 接收到两条或更多具有相同主键的记录时，它会将它们合并为一条记录以保持主键的唯一性记录保留策略：

Edingbrugh.南空

Flink维表应用：从思考到实践的全面解析在实时流处理的广阔领域中，数据如同川流不息的江河，而与外部数据源进行关联则是赋予这些数据深度价值的关键操作。Flink维表（Lookup Table）作为其中强大且灵活的工具，能够高效地实现流处理中的关联操作，将孤立的流数据与丰富的参考信息相结合，从而构建出更具分析价值的实时宽表，为业务决策提供坚实的数据支撑。