DataX从入门到精通 第1课 ETL之DataX 安装DataX

1、下载DataX源码

地址为https://github.com/alibaba/DataX.git

2、通过maven打包:

在DataX根目录执行打包命令

复制代码
mvn -U clean package assembly:assembly -Dmaven.test.skip=true

打包成功,日志显示如下:

INFO BUILD SUCCESS

INFO ------------------------------------------------------------------------

INFO Total time: 01:39 h

INFO Finished at: 2026-06-03T12:34:15+08:00

INFO ------------------------------------------------------------------------

3、DataX目录

打包成功后的DataX包位于 {DataX_source_code_home}/target/datax/datax/ ,结构如下:

4、配置示例:从stream读取数据并打印到控制台

1)第一步、创建作业的配置文件(json格式)

可以通过命令查看配置模板: python datax.py -r {YOUR_READER} -w {YOUR_WRITER},这里执行命令

复制代码
python datax.py -r streamreader -w streamwriter

2)根据模板配置json如下:

将stream2stream.json文件放到job目录下,内容如下:

复制代码
{
  "job": {
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "sliceRecordCount": 10,
            "column": [
              {
                "type": "long",
                "value": "10"
              },
              {
                "type": "string",
                "value": "hello,你好,世界-DataX"
              }
            ]
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "encoding": "UTF-8",
            "print": true
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 5
       }
    }
  }
}

3)运行job

执行命令

复制代码
chcp 65001
python bin/datax.py ./job/stream2stream.json

出现乱码。

4)解决乱码

执行命令 chcp 65001后显示正常,如果不想每次都输 chcp 65001,可以写个批处理。

复制代码
chcp 65001
python bin/datax.py ./job/stream2stream.json

done!!!

下一篇文章将讲解DataX-Web安装部署。

相关推荐
DataY轻量数据平台2 天前
任务调度的三种模式:什么时候跑、按什么顺序跑、等谁跑完
数据仓库·etl
宽海智能仓储物流2 天前
宽海智能WCS系统常见问题全解析:从选型对接、运维定制到降本增效
运维·数据仓库·自动化
上海潭龙东海科技有限公司6 天前
客运站管控之动态孪生技术方案(新增一屏管控模块
数据仓库·人工智能·算法·重构·动态规划
Francek Chen14 天前
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践
大数据·数据仓库·hive·hadoop·sql
全栈陈序员17 天前
【Git】从入门到精通(二)—— Git安装与初次配置
数据仓库·git
程序员梅雨17 天前
【从零开始学习数据仓库 | 第三篇】: Flume——数据采集基石
java·大数据·数据仓库·后端·学习·flume
注塑机数据采集联网19 天前
数据采集网关入门:ZK-D1/D3从零开始构建你的数据运用
大数据·数据仓库·人工智能·物联网·数据库架构·注塑机网关
roman_日积跬步-终至千里19 天前
【数据建模入门】从一家小店看懂数仓与机器学习:先理业务,再串技术
数据仓库·人工智能·机器学习·数据分析·数据建模
程序员梅雨20 天前
【从零开始学习数据仓库 | 第二篇】: 拉链表 & 数仓分层
大数据·数据仓库·学习
roman_日积跬步-终至千里20 天前
数仓开发的三层责任:业务定义、模型设计与 SQL 实现
数据库·数据仓库·sql·数据建模