技术栈
flink cdc系列
最笨的羊羊
17 天前
pipeline
·
schema
·
kafka sink
·
flink cdc系列
·
serialization
·
序列化器
·
kafkarecord
Flink CDC系列之：Kafka Sink 的序列化器PipelineKafkaRecordSerializationSchema
这是一个 Flink CDC Kafka Sink 的序列化器，负责将 Change Data Capture (CDC) 事件序列化为 Kafka 消息。
最笨的羊羊
18 天前
json
·
flink cdc系列
·
changelog
·
kafka 变更日志
·
json 格式工厂类
·
formatfactory
Flink CDC系列之：Kafka 变更日志 JSON 格式工厂类 ChangeLogJsonFormatFactory
类概述核心方法详解 createSerializationSchema() - 创建序列化器参数说明：
最笨的羊羊
18 天前
kafka
·
debezium
·
schema
·
flink cdc系列
·
serialization
·
序列化器
·
debezium json
Flink CDC系列之：Kafka Debezium JSON 序列化器的实现DebeziumJsonSerializationSchema
这是一个 Debezium JSON 序列化器的实现，负责将 Flink CDC 事件转换为标准的 Debezium JSON 格式。
最笨的羊羊
18 天前
kafka
·
flink cdc系列
·
kafkadata
·
数据接收器配置选项类
·
sinkoptions
Flink CDC系列之：Kafka 数据接收器配置选项类KafkaDataSinkOptions
这是一个 Kafka 数据接收器配置选项类，定义了 Flink CDC 连接 Kafka Sink 的所有可配置参数。
最笨的羊羊
19 天前
kafka
·
flink cdc系列
·
数据接收器工厂类
·
kafkadata
·
sinkfactory
Flink CDC系列之： Kafka 数据接收器工厂类KafkaDataSinkFactory
这是一个 Kafka 数据接收器工厂类，负责创建和配置 Kafka Sink 实例。类概述这个工厂类实现了 Flink CDC 的 DataSinkFactory 接口，专门用于创建 KafkaDataSink 实例。
最笨的羊羊
19 天前
partition
·
flink cdc系列
·
strategy
·
枚举类
·
kafka 分区策略
Flink CDC系列之：Kafka 分区策略枚举类PartitionStrategy
这是一个 Kafka分区策略枚举类，定义了如何将 ProducerRecord 分发到 Kafka 的不同分区。
最笨的羊羊
19 天前
flink cdc系列
·
kafka表结构信息
·
管理类
·
tableschemainfo
Flink CDC系列之：Kafka表结构信息管理类TableSchemaInfo
这是一个 表结构信息管理类，负责维护表结构信息、字段获取器和序列化器，并提供数据转换功能。类概述这个类封装了表的结构信息、序列化器和数据转换逻辑，是 Kafka JSON/CSV 序列化器的核心支撑组件。
最笨的羊羊
19 天前
kafka
·
flink cdc系列
·
数据接收器实现类
·
kafkadatasink
Flink CDC系列之： Kafka 数据接收器实现类KafkaDataSink
这是一个 Kafka 数据接收器实现类，负责将 CDC 事件发送到 Kafka。类概述这个类实现了 Flink CDC 的 DataSink 接口，是 Kafka 连接器的核心实现。
最笨的羊羊
21 天前
doris
·
flink cdc系列
·
schemautils
·
模式工具类
Flink CDC系列之：Doris 模式工具类DorisSchemaUtils
这是一个 Doris 模式工具类，专门用于处理 Flink CDC 到 Doris 数据同步时的自动分区配置。
最笨的羊羊
21 天前
flink cdc系列
·
config
·
flink-cdc-base
Flink CDC系列之：flink-cdc-base模块config
flink-cdc-base 模块是 Flink CDC 项目中的核心基础库，它封装了构建变更数据捕获（CDC）连接器所需的通用逻辑、接口和基础组件。
最笨的羊羊
21 天前
flink cdc系列
·
flink-cdc-base
·
dialect
Flink CDC系列之：flink-cdc-base模块dialect
这是一个 数据源方言接口，定义了与不同类型数据库交互的统一抽象层。接口概述方言模式: 为不同数据库提供特定实现
最笨的羊羊
22 天前
json
·
flink cdc系列
·
serialization
·
json 序列化器
·
rowdata
·
schemautils
Flink CDC系列之：JSON 序列化器JsonRowDataSerializationSchemaUtils
这是一个 Flink 版本兼容性工具类，专门用于处理不同 Flink 版本之间 JSON 序列化器的构造函数差异。
最笨的羊羊
22 天前
kafka
·
csv
·
schema
·
flink cdc系列
·
serialization
·
序列化器
Flink CDC系列之：Kafka CSV 序列化器CsvSerializationSchema
这是一个 CSV 序列化器，负责将 Flink CDC 事件转换为 CSV 格式的数据。类概述这个类实现了 Flink 的 SerializationSchema 接口，专门用于将 CDC 事件序列化为 CSV 格式的字节数组。
最笨的羊羊
22 天前
kafka
·
debezium
·
flink cdc系列
·
debezium json
·
结构定义类
·
jsonstruct
Flink CDC系列之：Kafka的Debezium JSON 结构定义类DebeziumJsonStruct
这是一个 Debezium JSON 结构定义类，使用枚举来定义 Debezium JSON 格式的字段结构和位置信息。
最笨的羊羊
22 天前
flink cdc系列
·
kafka json
·
序列化类型枚举
Flink CDC系列之：Kafka JSON 序列化类型枚举
枚举概述这个枚举定义了 Kafka Sink 支持的 JSON 序列化格式类型，主要用于配置选择不同的序列化器实现。
最笨的羊羊
23 天前
doris
·
flink cdc系列
·
数据接收器工厂类
·
datasinkfactory
Flink CDC系列之：数据接收器工厂类DorisDataSinkFactory
这是一个实现了 DataSinkFactory 接口的工厂类，专门用于创建 Doris 数据库的数据接收器。
最笨的羊羊
1 个月前
flink cdc系列
·
各个模块作用
Flink CDC系列之：Apache Flink CDC 项目的各个模块作用
作用: 提供整个项目共享的基础组件和工具类主要包含：作用: CDC 管道执行的核心运行时逻辑关键组件：
最笨的羊羊
1 年前
flink cdc系列
·
学习理解核心概念
·
data sink
Flink CDC系列之：学习理解核心概念——Data Sink
数据接收器用于应用架构更改并将更改数据写入外部系统。数据接收器可以同时写入多个表。为了描述数据接收器，需要以下内容：
最笨的羊羊
1 年前
flink cdc系列
·
data source
·
学习理解核心概念
Flink CDC系列之：学习理解核心概念——Data Source
数据源用于访问元数据并从外部系统读取更改的数据。数据源可以同时从多个表读取数据。要描述数据源，需要以下内容：
最笨的羊羊
1 年前
flink cdc系列
·
学习理解核心概念
·
data pipeline
Flink CDC系列之：学习理解核心概念——Data Pipeline
由于 Flink CDC 中的事件以管道方式从上游流向下游，因此整个 ETL 任务被称为数据管道。管道对应于 Flink 中的一系列操作。