DataX将数据在MySQL和HDFS之间互相迁移

1. 解压( root@master install#tar -zxvf datax.tar.gz****)****

2.

  1. 清理插件操作,有助于维护datax配置整洁 。

cd datax

find plugin/reader/ -type f -name "._*er" | xargs rm -rf

find plugin/writer/ -type f -name "._*er" | xargs rm -rf

3.测试运行datax自带的job.json

root@master datax# python bin/datax.py /bigdata/datax/job/job.json

4.将数据从MySQL中导入到HDFS上

MySQL duoduo_db里面的t_roles

/bigdata/datax 目录下面的 新建文件vim mysql_to_hdfs.json

内容写下面


{

"job": {

"content": [

{

"reader": {

"name": "mysqlreader",

"parameter": {

"column": [

"rid",

"rname"

],

"connection": [

{

"jdbcUrl": [

"jdbc:mysql://tonymin:3306/duoduo_db"

],

"table": [

"t_roles"

]

}

],

"password": "Mzp_2022!",

"username": "root"

}

},

"writer": {

"name": "hdfswriter",

"parameter": {

"column": [

{

"name": "rid",

"type": "int"

},

{

"name": "rname",

"type": "string"

}

],

"defaultFS": "hdfs://tonymin:9820",

"fieldDelimiter": "\t",

"fileName": "roles.txt",

"fileType": "text",

"path": "/datax_transfer/",

"writeMode": "append"

}

}

}

],

"setting": {

"speed": {

"channel": "1"

}

}

}

}


里面的"defaultFS": "hdfs://tonymin:9820", 这个端口号可以通过以下命令(关于defaultFS的配置)获得

hdfs getconf -confKey fs.defaultFS

python bin/datax.py mysql_to_hdfs.json

上面这个代码是改了模板获得的。模板是下面这句话获得的

复制代码
python bin/datax.py -r mysqlreader -w hdfswriter

5. 将数据从HDFS上迁移回MySQL

先重新命名文件:

hdfs dfs -mv /roles.txt__4d0639d8_4341_4dc1_95e4_b770be4a946f /roles.txt

再查看roles.txt文件:

hdfs dfs -cat /roles.txt

查看模板

python bin/datax.py -r hdfsreader -w mysqlwriter


{

"job": {

"content": [

{

"reader": {

"name": "hdfsreader",

"parameter": {

"column": "\*",

"defaultFS": "hdfs://tonymin:9820",

"encoding": "UTF-8",

"fieldDelimiter": "\t",

"fileType": "text",

"path": "/roles.txt"

}

},

"writer": {

"name": "mysqlwriter",

"parameter": {

"column": "rid","rname",

"connection": [

{

"jdbcUrl": "jdbc:mysql://tonymin:3306/duoduo_db",

"table": "t_roles"

}

],

"password": "Mzp_2022!",

"username": "root",

"writeMode": "insert"

}

}

}

],

"setting": {

"speed": {

"channel": "1"

}

}

}

}


python bin/datax.py hdfs_to_mysql.json

相关推荐
半杯咖啡半行码8 分钟前
Qt 隐式共享(Implicit Sharing)深度解析:机制、陷阱与 Qt6迁移
开发语言·数据库·qt
Nturmoils19 分钟前
空值、日期、字符串:业务 SQL 里的函数先跑一遍
数据库
im_AMBER1 小时前
CDC 对账:数据同步之后,如何验证源库与目标库一致
后端·mysql·面试
倔强的石头_4 小时前
数据库选型四步法:我把候选从十几个缩到两个
数据库
TiDB 社区干货传送门4 小时前
挚文集团(陌陌、探探)从 MySQL 分库分表到 TiDB 实时统一架构的实践
mysql·架构·tidb
千寻技术帮17 小时前
10454_基于Springboot的企业购销链管理系统
spring boot·mysql·vue·毕业设计·进销存
bksczm18 小时前
Redis Cluster 分片集群详解:槽路由、故障判定与扩缩容
数据库·redis·分布式
ServBay19 小时前
AI编程越来越强,为什么软件漏洞却是一个没少?MySQL又爆高危漏洞了
后端·mysql
黑十19 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
FungLeo19 小时前
FengCMS · PHP+MySQL 升级实录 · Web 入口收敛:Apache/Nginx 白名单挡住配置、安装 SQL、上传脚本直连
前端·mysql·php·安全加固·fengcms