DataX 本地调试配置

简要说明

根据自己的开发需求,完成了reader、writer、transformer开发后,在ide内通过Engine入口,调试自己的插件和job的json。

前置条件

已在系统安装了datax,本例子是在windows环境下,安装包地址https://github.com/alibaba/DataX 下,安装流程可参考其他博客。基本步骤:下载 -> 解压 -> ide打开项目 -> maven编译:mvn -U clean package assembly:assembly -Dmaven.test.skip=true(注意maven版本最好在3.6.x,我用过3.9.x会无法编译成功,assembly插件的问题)

步骤

1.下载DataX的源码

在github中,搜索datax进行下载,解压,并用idea打开

2.编写好插件和job.jsom

比如我本地的字段选择插件:

上图只展示transformer,其他内容自行完善,然后记得在TransformerRegistry类进行注册:

2.配置Engine类的启动环境参数

1)-Ddatax.home=D:/datax 是 VM options 参数,D:/datax 安装的目录

2)-job d:/datax/job/mysql2mysql.json -jobid -1 -mode standalone

其中 d:/datax/job/mysql2mysql.json 是你的任务的json,-1 是本地调试的任务id,模式也是固定的 standalone

3)D:\workspace\DataX-master 是你的datax源码解压后的地方

3.启动

找到Engine类的main方法

启动后,即可在需要的地方打点debug。

相关推荐
期待のcode19 小时前
MyBatisX插件
java·数据库·后端·mybatis·springboot
醇氧1 天前
【Windows】优雅启动:解析一个 Java 服务的后台启动脚本
java·开发语言·windows
sunxunyong1 天前
doris运维命令
java·运维·数据库
菜鸟起航ing1 天前
Spring AI 全方位指南:从基础入门到高级实战
java·人工智能·spring
古城小栈1 天前
Docker 多阶段构建:Go_Java 镜像瘦身运动
java·docker·golang
MapGIS技术支持1 天前
MapGIS Objects Java计算一个三维点到平面的距离
java·开发语言·平面·制图·mapgis
Coder_Boy_1 天前
业务导向型技术日志首日记录(业务中使用的技术栈)
java·驱动开发·微服务
盖世英雄酱581361 天前
springboot 项目 从jdk 8 升级到jdk21 会面临哪些问题
java·后端
济南壹软网络科技有限公司1 天前
企业级盲盒系统:Java高并发架构在多元化抽奖电商中的设计与实践
java·架构·开源源码·盲盒源码·盲盒h5·盲盒app
廋到被风吹走1 天前
【Java】常用设计模式及应用场景详解
java·开发语言·设计模式