阿里开源的免费数据集成工具——DataX

企业里真实的数据流转是什么样子的呢?

左侧描述了一个企业真实的样子,我们总是需要把数据从一个地方搬到另一个地方,最后就是搬来搬去搬成了一张张解不开的网。

右侧则表达了使用DataX为中心实现数据的同步。

什么是DataX

DataX是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

简单说,DataX也是一款数据集成工具。

DataX设计理念

为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候,只需要将此数据源对接到DataX,便能跟已有的数据源做到无缝数据同步。

DataX框架设计

DataX本身作为离线数据同步框架,采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件,纳入到整个同步框架中。

  • Reader

Reader为数据采集模块,负责采集数据源的数据,将数据发送给Framework。

  • Writer

Writer为数据写入模块,负责不断向Framework取数据,并将数据写入到目的端。

  • Framework

Framework用于连接Reader和Writer,作为两者的数据传输通道,并处理缓冲,流控,并发,数据转换等核心技术问题。

DataX优势

  • 可靠的数据质量监控
  • 丰富的数据转换功能
  • 精准的速度控制
  • 强劲的同步性能
  • 健壮的容错机制
  • 极简的使用体验

DataX支持的插件

类型 数据源 Reader(读) Writer(写)
RDBMS 关系型数据库 MySQL
Oracle
OceanBase
SQLServer
PostgreSQL
DRDS
Kingbase
通用RDBMS(支持所有关系型数据库)
阿里云数仓数据存储 ODPS
ADB
ADS
OSS
OCS
Hologres
AnalyticDB For PostgreSQL
阿里云中间件 datahub
SLS
图数据库 阿里云 GDB
Neo4j
NoSQL数据存储 OTS
Hbase0.94
Hbase1.1
Phoenix4.x
Phoenix5.x
MongoDB
Cassandra
数仓数据存储 StarRocks
ApacheDoris
ClickHouse
Databend
Hive
kudu
selectdb
无结构化数据存储 TxtFile
FTP
HDFS
Elasticsearch
时间序列数据库 OpenTSDB
TSDB
TDengine

进阶

前面有介绍过SeaTunnel和Kettle两款数据集成工具,每一款工具都是自己的特色和使用场景。如果你正为同步数据而发愁,不妨试一试DataX吧。

关注:遇码,回复datax获取官方使用说明。

相关推荐
AI数据皮皮侠2 小时前
中国上市公司数据(2000-2023年)
大数据·人工智能·python·深度学习·机器学习
Elastic 中国社区官方博客6 小时前
Elasticsearch MCP 服务器:与你的 Index 聊天
大数据·服务器·人工智能·elasticsearch·搜索引擎·ai·全文检索
weixin_511222807 小时前
不可见系统(Invisibility)
开源
CoderJia程序员甲8 小时前
GitHub 热榜项目 - 日榜(2025-09-26)
ai·开源·github·ai编程·github热榜
文火冰糖的硅基工坊9 小时前
[创业之路-653]:社会产品与服务的分类
大数据·数据库·人工智能
key0610 小时前
ISO 27001 信息安全管理体系 (ISMS) 建设与运营
大数据·安全合规
数据要素X12 小时前
【大数据实战】如何从0到1构建用户画像系统(案例+数据仓库+Airflow调度)
大数据·数据仓库·数据治理·数据中台
ajassi200012 小时前
开源 C# 快速开发(十六)数据库--sqlserver增删改查
windows·开源·c#
TDengine (老段)12 小时前
TDengine 时序函数 DERIVATIVE 用户手册
大数据·数据库·sql·物联网·时序数据库·iot·tdengine
TDengine (老段)12 小时前
TDengine 时序函数 STATEDURATION 用户手册
大数据·数据库·sql·物联网·时序数据库·iot·tdengine