CDL数据传输工具

什么是CDL

CDL(全称Change Data Loader)是一个基于Kafka Connect框架的实时数据集成服务。 CDL服务能够从各种OLTP数据库中捕获数据库的Data Change事件,并推送到kafka,再由sink connector推送到大数据生态系统中。

CDL目前支持的数据源有MySQL、PostgreSQL、Oracle、Hudi、Kafka、ThirdParty-Kafka,目标端支持写入Kafka、Hudi、DWS以及ClickHouse。

CDL结构

CDL服务包含了两个重要的角色:CDLConnector 和 CDLService,CDLConnector是具体执行数据抓取任务的实例,包含了Source Connector 和 Sink Connector,CDLService是负责管理和创建任务的实例。

CDL服务中的CDLService是多主模式,任意一个CDLService都可以进行业务操作;CDLConnector是分布式模式,提供了高可靠和Rebalance的能力,创建任务时指定的task数量会在整个集群中的CDLConnector实例之间做均衡,保证每个实例上运行的task数量大致相同,如果某个CDLConnector实例异常或者节点宕机,该任务会在其它节点重新平衡task的数量。

图1Task的Rebalance示意图

相关推荐
annus mirabilis15 分钟前
使用n8n构建自动化工作流:从数据库查询到邮件通知的使用指南
运维·数据库·自动化·n8n
思逻辑维20 分钟前
数据库+Docker+SSH三合一!深度评测HexHub的全栈开发体验
数据库·docker·ssh·软件工程·开源软件·软件需求
微辣已是极限26 分钟前
mysql日常巡检
数据库·mysql·dba
老苏畅谈运维1 小时前
PostgreSQL的dblink扩展模块使用方法
数据库·postgresql
sinat_262292112 小时前
Java面试实战:音视频场景下的微服务架构与缓存技术剖析
java·spring boot·redis·微服务·kafka·分布式系统·面试技巧
Fanche4042 小时前
MySQL 8 自动安装脚本(CentOS-7 系统)
linux·运维·数据库·mysql·centos
草海桐3 小时前
NoSQL 简单讲解
数据库·nosql
聪明的墨菲特i3 小时前
SQL进阶知识:四、索引优化
数据库·sql·mysql·database·索引·db2
Harbor Lau4 小时前
IDEA连接达梦数据库
数据库
我该如何取个名字7 小时前
Mac mini 安装mysql数据库以及出现的一些问题的解决方案
数据库·mysql·macos