CDL数据传输工具

什么是CDL

CDL(全称Change Data Loader)是一个基于Kafka Connect框架的实时数据集成服务。 CDL服务能够从各种OLTP数据库中捕获数据库的Data Change事件,并推送到kafka,再由sink connector推送到大数据生态系统中。

CDL目前支持的数据源有MySQL、PostgreSQL、Oracle、Hudi、Kafka、ThirdParty-Kafka,目标端支持写入Kafka、Hudi、DWS以及ClickHouse。

CDL结构

CDL服务包含了两个重要的角色:CDLConnector 和 CDLService,CDLConnector是具体执行数据抓取任务的实例,包含了Source Connector 和 Sink Connector,CDLService是负责管理和创建任务的实例。

CDL服务中的CDLService是多主模式,任意一个CDLService都可以进行业务操作;CDLConnector是分布式模式,提供了高可靠和Rebalance的能力,创建任务时指定的task数量会在整个集群中的CDLConnector实例之间做均衡,保证每个实例上运行的task数量大致相同,如果某个CDLConnector实例异常或者节点宕机,该任务会在其它节点重新平衡task的数量。

图1Task的Rebalance示意图

相关推荐
一个程序员_zhangzhen3 分钟前
sqlserver新建用户并分配对视图的只读权限
数据库·sqlserver
zfj3216 分钟前
学技术学英文:代码中的锁:悲观锁和乐观锁
数据库·乐观锁··悲观锁·竞态条件
吴冰_hogan8 分钟前
MySQL InnoDB 存储引擎 Redo Log(重做日志)详解
数据库·oracle
nbsaas-boot24 分钟前
探索 JSON 数据在关系型数据库中的应用:MySQL 与 SQL Server 的对比
数据库·mysql·json
cmdch201726 分钟前
Mybatis加密解密查询操作(sql前),where要传入加密后的字段时遇到的问题
数据库·sql·mybatis
程序员学习随笔27 分钟前
PostgreSQL技术内幕21:SysLogger日志收集器的工作原理
数据库·postgresql
Sun_12_227 分钟前
SQL注入(SQL lnjection Base)21
网络·数据库
秦时明月之君临天下28 分钟前
PostgreSQL标识符长度限制不能超过63字节
数据库·postgresql
woshilys30 分钟前
sql server 备份恢复
数据库·sqlserver
CodeCraft Studio30 分钟前
【实用技能】如何在 SQL Server 中处理 Null 或空值?
数据库·oracle·sqlserver