技术栈
flink cdc系列
最笨的羊羊
21 小时前
doris
·
flink cdc系列
·
schemautils
·
模式工具类
Flink CDC系列之：Doris 模式工具类DorisSchemaUtils
这是一个 Doris 模式工具类，专门用于处理 Flink CDC 到 Doris 数据同步时的自动分区配置。
最笨的羊羊
1 天前
flink cdc系列
·
config
·
flink-cdc-base
Flink CDC系列之：flink-cdc-base模块config
flink-cdc-base 模块是 Flink CDC 项目中的核心基础库，它封装了构建变更数据捕获（CDC）连接器所需的通用逻辑、接口和基础组件。
最笨的羊羊
1 天前
flink cdc系列
·
flink-cdc-base
·
dialect
Flink CDC系列之：flink-cdc-base模块dialect
这是一个 数据源方言接口，定义了与不同类型数据库交互的统一抽象层。接口概述方言模式: 为不同数据库提供特定实现
最笨的羊羊
2 天前
json
·
flink cdc系列
·
serialization
·
json 序列化器
·
rowdata
·
schemautils
Flink CDC系列之：JSON 序列化器JsonRowDataSerializationSchemaUtils
这是一个 Flink 版本兼容性工具类，专门用于处理不同 Flink 版本之间 JSON 序列化器的构造函数差异。
最笨的羊羊
2 天前
kafka
·
csv
·
schema
·
flink cdc系列
·
serialization
·
序列化器
Flink CDC系列之：Kafka CSV 序列化器CsvSerializationSchema
这是一个 CSV 序列化器，负责将 Flink CDC 事件转换为 CSV 格式的数据。类概述这个类实现了 Flink 的 SerializationSchema 接口，专门用于将 CDC 事件序列化为 CSV 格式的字节数组。
最笨的羊羊
2 天前
kafka
·
debezium
·
flink cdc系列
·
debezium json
·
结构定义类
·
jsonstruct
Flink CDC系列之：Kafka的Debezium JSON 结构定义类DebeziumJsonStruct
这是一个 Debezium JSON 结构定义类，使用枚举来定义 Debezium JSON 格式的字段结构和位置信息。
最笨的羊羊
2 天前
flink cdc系列
·
kafka json
·
序列化类型枚举
Flink CDC系列之：Kafka JSON 序列化类型枚举
枚举概述这个枚举定义了 Kafka Sink 支持的 JSON 序列化格式类型，主要用于配置选择不同的序列化器实现。
最笨的羊羊
3 天前
doris
·
flink cdc系列
·
数据接收器工厂类
·
datasinkfactory
Flink CDC系列之：数据接收器工厂类DorisDataSinkFactory
这是一个实现了 DataSinkFactory 接口的工厂类，专门用于创建 Doris 数据库的数据接收器。
最笨的羊羊
9 天前
flink cdc系列
·
各个模块作用
Flink CDC系列之：Apache Flink CDC 项目的各个模块作用
作用: 提供整个项目共享的基础组件和工具类主要包含：作用: CDC 管道执行的核心运行时逻辑关键组件：
最笨的羊羊
1 年前
flink cdc系列
·
学习理解核心概念
·
data sink
Flink CDC系列之：学习理解核心概念——Data Sink
数据接收器用于应用架构更改并将更改数据写入外部系统。数据接收器可以同时写入多个表。为了描述数据接收器，需要以下内容：
最笨的羊羊
1 年前
flink cdc系列
·
data source
·
学习理解核心概念
Flink CDC系列之：学习理解核心概念——Data Source
数据源用于访问元数据并从外部系统读取更改的数据。数据源可以同时从多个表读取数据。要描述数据源，需要以下内容：
最笨的羊羊
1 年前
flink cdc系列
·
学习理解核心概念
·
data pipeline
Flink CDC系列之：学习理解核心概念——Data Pipeline
由于 Flink CDC 中的事件以管道方式从上游流向下游，因此整个 ETL 任务被称为数据管道。管道对应于 Flink 中的一系列操作。
最笨的羊羊
1 年前
flink cdc系列
·
学习理解
·
standalone模式
Flink CDC系列之：学习理解standalone模式
独立模式是 Flink 最简单的部署模式。本简短指南将向您展示如何下载、安装和运行 Flink 的最新稳定版本。 您还将运行一个示例 Flink CDC 作业并在 Web UI 中查看它。
最笨的羊羊
1 年前
flink cdc系列
·
理解学习yarn模式
Flink CDC系列之：理解学习YARN模式
Apache Hadoop YARN 是许多数据处理框架中流行的资源提供者。Flink 服务提交给 YARN 的 ResourceManager，后者在由 YARN NodeManagers 管理的机器上生成容器。Flink 将其 JobManager 和 TaskManager 实例部署到此类容器中。
最笨的羊羊
1 年前
flink cdc系列
·
理解学习
·
kubernetes模式
Flink CDC系列之：理解学习Kubernetes模式
Kubernetes 是一种流行的容器编排系统，用于自动化计算机应用程序的部署、扩展和管理。Flink 的原生 Kubernetes 集成允许您直接在正在运行的 Kubernetes 集群上部署 Flink。此外，由于 Flink 可以直接与 Kubernetes 通信，因此它能够根据所需资源动态分配和取消分配 TaskManager。
最笨的羊羊
1 年前
transform
·
flink cdc系列
·
学习理解核心概念
Flink CDC系列之：学习理解核心概念——Transform
Transform模块帮助用户根据表中的数据列进行数据列的删除和扩展。 此外，它还可以帮助用户在同步过程中过滤一些不必要的数据。
最笨的羊羊
1 年前
route
·
flink cdc系列
·
学习理解核心概念
Flink CDC系列之：学习理解核心概念——Route
Route 指定匹配一串 source-table 到 sink-table 的规则，最典型的场景是分库分表合并，将多个上游 source 表路由到同一张 sink 表。
最笨的羊羊
1 年前
mysql
·
flink cdc系列
·
flink cdc
·
elt
·
流式传输
·
starrocks方案
Flink CDC系列之：调研应用Flink CDC将 ELT 从 MySQL 流式传输到 StarRocks方案
本教程将展示如何使用 Flink CDC 快速构建从 MySQL 到 StarRocks 的 Streaming ELT 作业，包括同步一个数据库的所有表、模式变更演变和将分片表同步到一张表的功能。 本教程中的所有练习都在 Flink CDC CLI 中执行，整个过程使用标准 SQL 语法，无需一行 Java/Scala 代码或 IDE 安装。
最笨的羊羊
2 年前
elasticsearch
·
flink cdc系列
·
oracle cdc
Flink CDC系列之：Oracle CDC 导入 Elasticsearch
该 Docker Compose 中包含的容器有:在 docker-compose.yml 所在目录下运行如下命令以启动所有容器：
最笨的羊羊
2 年前
mysql
·
flink cdc系列
·
基于 flink cdc
·
postgres
·
streaming etl
Flink CDC系列之：基于 Flink CDC 构建 MySQL 和 Postgres 的 Streaming ETL
mysql数据库创建数据库和表 products，orders