DataX 本地调试配置

简要说明

根据自己的开发需求,完成了reader、writer、transformer开发后,在ide内通过Engine入口,调试自己的插件和job的json。

前置条件

已在系统安装了datax,本例子是在windows环境下,安装包地址https://github.com/alibaba/DataX 下,安装流程可参考其他博客。基本步骤:下载 -> 解压 -> ide打开项目 -> maven编译:mvn -U clean package assembly:assembly -Dmaven.test.skip=true(注意maven版本最好在3.6.x,我用过3.9.x会无法编译成功,assembly插件的问题)

步骤

1.下载DataX的源码

在github中,搜索datax进行下载,解压,并用idea打开

2.编写好插件和job.jsom

比如我本地的字段选择插件:

上图只展示transformer,其他内容自行完善,然后记得在TransformerRegistry类进行注册:

2.配置Engine类的启动环境参数

1)-Ddatax.home=D:/datax 是 VM options 参数,D:/datax 安装的目录

2)-job d:/datax/job/mysql2mysql.json -jobid -1 -mode standalone

其中 d:/datax/job/mysql2mysql.json 是你的任务的json,-1 是本地调试的任务id,模式也是固定的 standalone

3)D:\workspace\DataX-master 是你的datax源码解压后的地方

3.启动

找到Engine类的main方法

启动后,即可在需要的地方打点debug。

相关推荐
nbsaas-boot8 分钟前
如何进行 Vibe Coding:从“灵感驱动”到“可交付工程”的方法论
java·ai编程
Remember_99311 分钟前
Spring 事务深度解析:实现方式、隔离级别与传播机制全攻略
java·开发语言·数据库·后端·spring·leetcode·oracle
roman_日积跬步-终至千里16 分钟前
【Java并发】用 JMM 与 Happens-Before 解决多线程可见性与有序性问题
java·开发语言·spring
空空kkk16 分钟前
SSM项目练习——hami音乐(三)
java·数据库
爬山算法24 分钟前
Hibernate(78)如何在GraphQL服务中使用Hibernate?
java·hibernate·graphql
独断万古他化29 分钟前
【Spring 核心:AOP】基础到深入:思想、实现方式、切点表达式与自定义注解全梳理
java·spring·spring aop·aop·切面编程
编程彩机42 分钟前
互联网大厂Java面试:从分布式事务到微服务优化的技术场景解读
java·spring boot·redis·微服务·面试·kafka·分布式事务
bbq粉刷匠43 分钟前
Java-排序2
java·数据结构·排序算法
编程彩机1 小时前
互联网大厂Java面试:从Spring WebFlux到分布式事务的技术场景解析
java·微服务·面试·分布式事务·spring webflux
Jm_洋洋1 小时前
【C++进阶】虚函数、虚表与虚指针:多态底层机制剖析
java·开发语言·c++