DataX及Datax-web杂记

👽个人博客:https://everspring.github.io/

👽公众号:爱历史的IT男

一. DataX调试

DataX之前调试不是很方便,要打包后才能调试。23年7月后一位叫"FuYouJ "的开源者提交了datax-example模块,就方便了很多。下面说下简要使用方法

1.把配置好的reader/writer的json文件放到datax-example-streamreaderresource目录下

2.把用到的reader、writer的依赖包配置到datax-example-streamreaderpom.xml

3.把datax-example-core下面core.json配置中的transport.channel.speed.byte改成大于-1,原因就是避免运行时出现异常[DataX引擎配置错误,该问题通常是由于DataX安装错误引起,请联系您的运维解决 .]. - 在有总bps限速条件下,单个channel的bps值不能为空,也不能为非正数

4.StreamReader2StreamWriterTest.java中把path的值改一下,注意是/开头,默认对应的就是第1步中resource路径

5.运行即可

二. Datax-web运行

之前的python环境是直接安装的,后面改成了conda安装后,用Datax-web执行时提示ReturnT:ReturnT [code=500, msg=command exit value(9009) is failed, content=null],就是python的命令找不到。除了重装python环境外,还可以手动指定python.exe路径

在datax-executor模块中,将ExecutorJobHandler类的 buildDataXExecutorCmd方法中
cmdArr.add("python"); 改为 cmdArr.add("python.exe的路径");

三.其他问题

  1. datax-web执行datax是通过datax.py实现的。在使用数据源是oracle的时候,遇到了夏令时问题,比如数据类型是date,查询出来后时间会大1小时,如1947-04-15 00:00:00,1946-05-15 00:00:00,1949-05-01 00:00:00查询出来是1947-04-15 01:00:00,1946-05-15 01:00:00,1949-05-01 01:00:00。这个时候需要指定时区,但在datax的配置文件中不能在jdbcUrl中指定timezone,"jdbc:oracle:thin:@//127.0.0.1:1521/test?timezone=GMT+8"这种常用的指定方法会导致启动失败。所以需要在jvm参数中指定。在datax指定时区方式如下
    datax/bin/datax.py里面DEFAULT_PROPERTY_CONF的值-Dfile.encoding=UTF-8后面加一段-Duser.timezone=GMT+8
相关推荐
黎子越1 分钟前
python相关练习
java·前端·python
电商API&Tina5 分钟前
电商数据采集 API 接口 全维度解析(技术 + 商业 + 合规)
java·大数据·开发语言·数据库·人工智能·json
liwulin050615 分钟前
【JSON】使用com.fasterxml.jackson解析json字符串
java·数据库·json
what丶k35 分钟前
深度解析:以Kafka为例,消息队列消费幂等性的实现方案与生产实践
java·数据结构·kafka
星火开发设计38 分钟前
C++ 输入输出流:cin 与 cout 的基础用法
java·开发语言·c++·学习·算法·编程·知识
毕设源码-邱学长1 小时前
【开题答辩全过程】以 基于Springboot的酒店住宿信息管理系统的设计与实现为例,包含答辩的问题和答案
java·spring boot·后端
仟濹1 小时前
【Java加强】1 异常 | 打卡day1
java·开发语言·python
AllData公司负责人1 小时前
【亲测好用】实时开发平台能力演示
java·c语言·数据库
pcm1235671 小时前
设计C/S架构的IM通信软件(3)
java·c语言·架构
咖啡啡不加糖2 小时前
Grafana 监控服务指标使用指南:打造可视化监控体系
java·后端·grafana