技术栈
flink cdc系列
最笨的羊羊
2 个月前
flink cdc系列
·
学习理解核心概念
·
data sink
Flink CDC系列之：学习理解核心概念——Data Sink
数据接收器用于应用架构更改并将更改数据写入外部系统。数据接收器可以同时写入多个表。为了描述数据接收器，需要以下内容：
最笨的羊羊
2 个月前
flink cdc系列
·
data source
·
学习理解核心概念
Flink CDC系列之：学习理解核心概念——Data Source
数据源用于访问元数据并从外部系统读取更改的数据。数据源可以同时从多个表读取数据。要描述数据源，需要以下内容：
最笨的羊羊
2 个月前
flink cdc系列
·
学习理解核心概念
·
data pipeline
Flink CDC系列之：学习理解核心概念——Data Pipeline
由于 Flink CDC 中的事件以管道方式从上游流向下游，因此整个 ETL 任务被称为数据管道。管道对应于 Flink 中的一系列操作。
最笨的羊羊
2 个月前
flink cdc系列
·
学习理解
·
standalone模式
Flink CDC系列之：学习理解standalone模式
独立模式是 Flink 最简单的部署模式。本简短指南将向您展示如何下载、安装和运行 Flink 的最新稳定版本。 您还将运行一个示例 Flink CDC 作业并在 Web UI 中查看它。
最笨的羊羊
2 个月前
flink cdc系列
·
理解学习yarn模式
Flink CDC系列之：理解学习YARN模式
Apache Hadoop YARN 是许多数据处理框架中流行的资源提供者。Flink 服务提交给 YARN 的 ResourceManager，后者在由 YARN NodeManagers 管理的机器上生成容器。Flink 将其 JobManager 和 TaskManager 实例部署到此类容器中。
最笨的羊羊
2 个月前
flink cdc系列
·
理解学习
·
kubernetes模式
Flink CDC系列之：理解学习Kubernetes模式
Kubernetes 是一种流行的容器编排系统，用于自动化计算机应用程序的部署、扩展和管理。Flink 的原生 Kubernetes 集成允许您直接在正在运行的 Kubernetes 集群上部署 Flink。此外，由于 Flink 可以直接与 Kubernetes 通信，因此它能够根据所需资源动态分配和取消分配 TaskManager。
最笨的羊羊
2 个月前
transform
·
flink cdc系列
·
学习理解核心概念
Flink CDC系列之：学习理解核心概念——Transform
Transform模块帮助用户根据表中的数据列进行数据列的删除和扩展。 此外，它还可以帮助用户在同步过程中过滤一些不必要的数据。
最笨的羊羊
2 个月前
route
·
flink cdc系列
·
学习理解核心概念
Flink CDC系列之：学习理解核心概念——Route
Route 指定匹配一串 source-table 到 sink-table 的规则，最典型的场景是分库分表合并，将多个上游 source 表路由到同一张 sink 表。
最笨的羊羊
2 个月前
mysql
·
flink cdc系列
·
flink cdc
·
elt
·
流式传输
·
starrocks方案
Flink CDC系列之：调研应用Flink CDC将 ELT 从 MySQL 流式传输到 StarRocks方案
本教程将展示如何使用 Flink CDC 快速构建从 MySQL 到 StarRocks 的 Streaming ELT 作业，包括同步一个数据库的所有表、模式变更演变和将分片表同步到一张表的功能。 本教程中的所有练习都在 Flink CDC CLI 中执行，整个过程使用标准 SQL 语法，无需一行 Java/Scala 代码或 IDE 安装。
最笨的羊羊
1 年前
elasticsearch
·
flink cdc系列
·
oracle cdc
Flink CDC系列之：Oracle CDC 导入 Elasticsearch
该 Docker Compose 中包含的容器有:在 docker-compose.yml 所在目录下运行如下命令以启动所有容器：
最笨的羊羊
1 年前
mysql
·
flink cdc系列
·
基于 flink cdc
·
postgres
·
streaming etl
Flink CDC系列之：基于 Flink CDC 构建 MySQL 和 Postgres 的 Streaming ETL
mysql数据库创建数据库和表 products，orders