DataX 本地调试配置

简要说明

根据自己的开发需求,完成了reader、writer、transformer开发后,在ide内通过Engine入口,调试自己的插件和job的json。

前置条件

已在系统安装了datax,本例子是在windows环境下,安装包地址https://github.com/alibaba/DataX 下,安装流程可参考其他博客。基本步骤:下载 -> 解压 -> ide打开项目 -> maven编译:mvn -U clean package assembly:assembly -Dmaven.test.skip=true(注意maven版本最好在3.6.x,我用过3.9.x会无法编译成功,assembly插件的问题)

步骤

1.下载DataX的源码

在github中,搜索datax进行下载,解压,并用idea打开

2.编写好插件和job.jsom

比如我本地的字段选择插件:

上图只展示transformer,其他内容自行完善,然后记得在TransformerRegistry类进行注册:

2.配置Engine类的启动环境参数

1)-Ddatax.home=D:/datax 是 VM options 参数,D:/datax 安装的目录

2)-job d:/datax/job/mysql2mysql.json -jobid -1 -mode standalone

其中 d:/datax/job/mysql2mysql.json 是你的任务的json,-1 是本地调试的任务id,模式也是固定的 standalone

3)D:\workspace\DataX-master 是你的datax源码解压后的地方

3.启动

找到Engine类的main方法

启动后,即可在需要的地方打点debug。

相关推荐
Tigshop开源商城1 小时前
『订单税率+收货地址校验国家字段』功能上新|跨境运营更高效,Tigshop开源商城系统 JAVA v5.8.23 版本更新
java·开源商城系统·tigshop
REDcker1 小时前
C++变量存储与ELF段布局详解 从const全局到rodata与nm_readelf验证实践
java·c++·面试
kobesdu2 小时前
【ROS2实战笔记-19】ROS2 生命周期节点的启动顺序、状态转换陷阱与热备方案
java·前端·笔记·机器人·ros·ros2
neo_Ggx233 小时前
Maven 版本管理详解:SNAPSHOT、Release 与 Nexus 仓库的区别和影响
java·maven
matlabgoodboy3 小时前
软件开发定制小程序APP帮代做java代码代编写C语言设计python编程
java·c语言·小程序
江离w3 小时前
新版vibecoding项目初始化指令
java
tongluowan0073 小时前
Spring MVC 底层工作流程+源码分析
java·spring·mvc
java1234_小锋4 小时前
SpringBoot为什么要禁止循环依赖?
java·数据库·spring boot
折哥的程序人生 · 物流技术专研4 小时前
《Java 100 天进阶之路》第17篇:Java常用包装类与自动装箱拆箱深入
java·开发语言·后端·面试
RH2312115 小时前
2026.5.12 Linux
java·linux·数据结构