DataX 本地调试配置

简要说明

根据自己的开发需求,完成了reader、writer、transformer开发后,在ide内通过Engine入口,调试自己的插件和job的json。

前置条件

已在系统安装了datax,本例子是在windows环境下,安装包地址https://github.com/alibaba/DataX 下,安装流程可参考其他博客。基本步骤:下载 -> 解压 -> ide打开项目 -> maven编译:mvn -U clean package assembly:assembly -Dmaven.test.skip=true(注意maven版本最好在3.6.x,我用过3.9.x会无法编译成功,assembly插件的问题)

步骤

1.下载DataX的源码

在github中,搜索datax进行下载,解压,并用idea打开

2.编写好插件和job.jsom

比如我本地的字段选择插件:

上图只展示transformer,其他内容自行完善,然后记得在TransformerRegistry类进行注册:

2.配置Engine类的启动环境参数

1)-Ddatax.home=D:/datax 是 VM options 参数,D:/datax 安装的目录

2)-job d:/datax/job/mysql2mysql.json -jobid -1 -mode standalone

其中 d:/datax/job/mysql2mysql.json 是你的任务的json,-1 是本地调试的任务id,模式也是固定的 standalone

3)D:\workspace\DataX-master 是你的datax源码解压后的地方

3.启动

找到Engine类的main方法

启动后,即可在需要的地方打点debug。

相关推荐
XS0301063 分钟前
Spring AI:两种内置 Advisor 快速实现 RAG
java·人工智能·spring
mifengxing7 分钟前
LeetCode 238 除自身以外数组的乘积|无除法O(n)时间+O(1)空间双解法
java·算法·leetcode
小林敲代码77881 小时前
Spring Boot 3 升级踩坑:aj-captcha 行为验证码底图加载失效
java·spring boot·后端
带刺的坐椅1 小时前
Solon I18n:三种解析器,零样板代码
java·国际化·i18n·solon·多语言
掉鱼的猫2 小时前
Solon I18n:三种解析器,零样板代码
java
程序员阿明2 小时前
spring boot3访问resources下的文件,使得在浏览器url中可以直接访问
java·spring boot·后端
unityのkiven2 小时前
C# 中的奇异递归模板模式:MonoSingleton<T> 的实现
java·开发语言·c#
wuminyu2 小时前
JUC包的AQS与JVM的ObjectMonitor机制对比分析
java·linux·c语言·jvm·c++
霸道流氓气质2 小时前
SpringBoot中使用OAuth2 认证与 JWT Token — 概念、原理与实践
java·spring boot·后端
dogstarhuang2 小时前
Kimi K3 本地部署实战:从 1.56TB 权重到推理服务的完整成本分析
java·人工智能·后端·ai·开源·接口·程序员创富