CDL数据传输工具

什么是CDL

CDL(全称Change Data Loader)是一个基于Kafka Connect框架的实时数据集成服务。 CDL服务能够从各种OLTP数据库中捕获数据库的Data Change事件,并推送到kafka,再由sink connector推送到大数据生态系统中。

CDL目前支持的数据源有MySQL、PostgreSQL、Oracle、Hudi、Kafka、ThirdParty-Kafka,目标端支持写入Kafka、Hudi、DWS以及ClickHouse。

CDL结构

CDL服务包含了两个重要的角色:CDLConnector 和 CDLService,CDLConnector是具体执行数据抓取任务的实例,包含了Source Connector 和 Sink Connector,CDLService是负责管理和创建任务的实例。

CDL服务中的CDLService是多主模式,任意一个CDLService都可以进行业务操作;CDLConnector是分布式模式,提供了高可靠和Rebalance的能力,创建任务时指定的task数量会在整个集群中的CDLConnector实例之间做均衡,保证每个实例上运行的task数量大致相同,如果某个CDLConnector实例异常或者节点宕机,该任务会在其它节点重新平衡task的数量。

图1Task的Rebalance示意图

相关推荐
boy快快长大9 分钟前
【MySQL】InnoDB记录存储结构
数据库·mysql
yaoxtao10 分钟前
neo4j数据库的导入和导出
数据库
卓码软件测评13 分钟前
CMA/CNAS软件测评机构:【Gatling数据库性能关联测试JDBC连接和SQL执行时间监控】
数据库·sql·测试工具·性能优化·测试用例
lixora20 分钟前
备份指定oracle block 防止误操作
数据库
凯子坚持 c26 分钟前
Redis 数据库的服务器部署与 MCP 智能化交互深度实践指南
服务器·数据库·redis
DBA小马哥31 分钟前
Oracle迁移金仓全攻略:工业IOT场景下的易用性与安全保障
数据库·物联网·安全·oracle
‘胶己人’33 分钟前
redis分布式锁
数据库·redis·分布式
山沐与山35 分钟前
【MQ】Kafka与RocketMQ深度对比
分布式·kafka·rocketmq
初恋叫萱萱44 分钟前
基于CodeRider-Kilo和MySQL开发一款书店管理系统
数据库·mysql·产品运营
Elastic 中国社区官方博客1 小时前
通过 Elasticsearch 中的 function score query 按利润和受欢迎程度提升电商搜索效果
大数据·数据库·elasticsearch·搜索引擎·全文检索