ETL可视化工具 DataX -- 简介( 一)

引言

DataX 系列文章:

1.1 DataX

1.1.1 Data X概览

DataX 是阿里云DataWorks数据集成的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。

为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候,只需要将此数据源对接到DataX,便能跟已有的数据源做到无缝数据同步。

1.1.2 DataX3.0框架设计

DataX本身作为离线数据同步框架,采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件,纳入到整个同步框架中。

Reader:Reader为数据采集模块,负责采集数据源的数据,将数据发送给Framework。

Writer: Writer为数据写入模块,负责不断向Framework取数据,并将数据写入到目的端。

Framework:Framework用于连接reader和writer,作为两者的数据传输通道,并处理缓冲,流控,并发,数据转换等核心技术问题。

1.1.3 DataX3.0插件体系

数据源类型 数据源名称 Reader(读) Writer(写) 备注
RDBMS 关系型数据库 MySQL 读、写
Oracle 读、写
OceanBase 读、写
SQLServer 读、写
PostgreSQL 读、写
DRDS 读、写
达梦 读、写
通用RDBMS(支持所有关系型数据库) 读、写
阿里云数仓数据存储 ODPS 读、写
ADS
OSS 读、写
OCS 读、写
NoSQL 数据存储 OTS 读、写
Hbase 0.94 读、写
Hbase 1.1 读、写
MongoDB 读、写
Hive 读、写
无结构化数据存储 TxtFile 读、写
FTP 读、写
HDFS 读、写
Elasticsearch

1.1.4 DataX3.0六大核心优势

1、可靠的数据质量监控

1)完美解决数据传输个别类型失真问题

2)提供作业全链路的流量、数据量运行时监控

3)提供脏数据探测

2、丰富的数据转换功能

3、精准的速度控制

4、强劲的同步性能

5、健壮的容错机制

6、极简的使用体验

1.2 DataX-Web

DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的 操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,RDBMS数据源可批量创建数据同步任务,支持实时查看数据同步进度及日志并提供终止同步功能,集成并二次开发,可根据时间、自增主键增量同步数据。

任务"执行器"支持集群部署,支持执行器多节点路由策略选择,支持超时控制、失败重试、失败告警、任务依赖,执行器CPU、内存、负载的监控等等。数据转换UDF、表结构同步、数据同步血缘等更为复杂的业务场景。

简单来说用户可以通过图形化web,构建DataX Json,可以轻松调度各Job启停,DataX-Web也提供了诸如阻塞处理、超时警告等等功能辅助生产,对于少量数据同步任务,DataX-Web完全可以胜任,并且大大减少了工作量。

相关推荐
RestCloud1 小时前
ETLCloud异常问题分析ai功能
人工智能·ai·数据分析·etl·数据集成工具·数据异常
ETLCloud数据集成社区1 小时前
论如何使用ETL数据仓库
数据仓库·etl·数据集成
苍老流年20 小时前
Hive中各种Join的实现
数据仓库·hive·hadoop
EDG Zmjjkk21 小时前
Hive 查询(详细实操版)
数据仓库·hive·hadoop
Hsu_kk1 天前
Hive 查询各类型专利 Top 10 申请人及对应的专利申请数
数据仓库·hive·hadoop
大数据编程之光1 天前
Hive 查询各类型专利 top10 申请人及专利申请数
大数据·数据仓库·hive·hadoop
杰克逊的日记1 天前
Hive详解
数据仓库·hive·hadoop
码喽哈哈哈1 天前
Kettle——CSV文件转换成excel文件输出
etl
Acrelhuang1 天前
安科瑞5G基站直流叠光监控系统-安科瑞黄安南
大数据·数据库·数据仓库·物联网
消失在人海中1 天前
数据仓库之 Atlas 血缘分析:揭示数据流奥秘
数据仓库