datax的安装及使用入门

1 下载解压Datax tar包

下载到自己指定的安装目录

#wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

进行解压

tar -zxvf datax.tar.gz

2 Datax验证

#修改datax/bin目录下datax.py的权限

chmod 777 datax/bin/datax.py

2.1运行官方给定的任务案例

cd $DATAX_HOME

bin/datax.py job/job.json

任务执行成功

2.2编写个人任务案例

需求:读取 MySQL 中的数据存放到 HDFS

2.2.1准备数据

登录MySQL创建student表,并插入数据

mysql -u root -p

mysql> use test;

mysql> > create table student(id int,name varchar(20));

mysql> insert into student values(1001,'zhangsan'),(1002,'lisi'),(1003,'wangwu');

2.2.2查看官方配置文件模板

python $DATAX_HOME /bin/datax.py -r mysqlreader -w hdfswriter

2.2.3编写配置文件

vim $DATAX_HOME /job/mysqlhdfs.json

{ "job": { "content": { "reader": { "name": "mysqlreader", "parameter": { "column": \[ "id", "name" , "connection": { "jdbcUrl": \[ "jdbc:mysql://node1:3306/test" , "table": "student" } ], "username": "root", "password": "1234" } }, "writer": { "name": "hdfswriter", "parameter": { "column": { "name": "id", "type": "int" }, { "name": "name", "type": "string" } , "defaultFS": "hdfs://node1:8020", "fieldDelimiter": "\t", "fileName": "student.txt", "fileType": "text", "path": "/", "writeMode": "append" } } } ], "setting": { "speed": { "channel": "1" } } }

2.2.4执行任务

cd $DATAX_HOME

bin/datax.py job/mysqlhdfs.json

任务执行成功

查看 hdfs

相关推荐
starzy19902 小时前
Structured Streaming 案例剖析:一个 8 万 QPS 实时大屏的完整落地与三次线上事故复盘
大数据·spark
大大大大晴天13 小时前
浅聊维度建模中的星型模型与雪花模型
大数据
数字新视界17 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天17 小时前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
如夏倾城19 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
wuyk55519 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
培培说证19 小时前
大数据与会计专业性价比高的证书有哪些?
大数据
伞伞悦读1 天前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
老余说AI1 天前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
starzy19901 天前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
大数据·hadoop·hdfs