DataX从入门到精通 第2课 ETL之DataX 安装datax-web

1、下载源码

datax-web地址为https://github.com/WeiYe-Jing/datax-web

2、编译源码

使用maven 进行编译,进行到datax-web所在目录,然后执行如下命令打包

复制代码
mvn -U install

编译成功之后产物有:datax-admin(控台)、datax-executor(执行器)、datax-web(完整部署包)

3、部署服务

1)使用datax-web-2.1.2.tar.gz进行部署,解压此文件。

2)准备一个mysql数据库,schema为datax-web

3)执行datax_web.sql中的脚本,文件位置为bin/db/datax_web.sql

4)编辑application.yml中的数据库信息,日志地址等

5)shell启动datax-admin服务

经测试使用install.shstart.sh、start-all.sh文件只适合在linux环境,无法在windows和mac直接使用,所以舍弃这种方法。

6)改造datax-admin、datax-executor为springboot项目

改造步骤省略,不懂技术的朋友可以使用ai工具来解决,如trae。

7)启动datax-admin服务

启动命令为

复制代码
nohup java -Xms1g -Xmx1g -jar datax-admin-2.1.2.jar > /dev/null 2>&1 &

通过 http://localhost:8080/index.html 访问,默认账号 admin / 123456

8)启动datax-executor服务

配置applicaiton.yml文件,这里重点配置addresses(多个admin逗号分隔)、jsonpath(datax任务的路径)、pypath(datax的可执行python路径)

启动命令

复制代码
nohup java -Xms1g -Xmx1g -jar datax-executor-2.1.2.jar > /dev/null 2>&1 &

登录到datax-admin系统,可以看到datax执行器已经注册成功,如果有多个执行器注册的话,这里会有多条数据。

相关资源我已经放到百度盘,有需要的关注加v入群获取。

下一节课我们将会通过一个例子来讲解如何同步数据,后续将会讲解datax的原生插件以及自研插件,敬请期待。

相关推荐
APItesterCris16 小时前
告别人工盯品:借助 OpenClaw 搭建商品自动监控与数据分析系统(完整实操)
大数据·数据库·数据仓库·自动化
AbnerWright1 天前
读书笔记-数据密集型应用系统设计
数据仓库
RestCloud2 天前
行业数据集成架构对比:金融、制造、政务三大场景的差异化设计
金融·架构·制造·etl·etlcloud·数据传输·数据集成平台
zgl_200537793 天前
源代码:跨数据库通用“字段级”数据血缘解析与图形化(2/3:标注信息的拆解、检验、保存)
大数据·数据库·数据仓库·sql·数据挖掘·etl·嵌入式实时数据库
fastjson_4 天前
Hive 复杂数据类型
数据仓库·hive·hadoop
roman_日积跬步-终至千里4 天前
量化投研中的缓慢变化维:从因子定义到回测可复现的底层逻辑
大数据·数据仓库·金融
hopsky4 天前
《Hive性能调优实战》核心内容详细解读
数据仓库·hive·hadoop
楠楠子呀6 天前
独立站聊天转化全链路:从二维码引流到数据复盘
java·javascript·数据仓库·python·c#·自动化·etl
熊出没7 天前
AI经营分析数据中台如何搭建数仓
数据仓库
熊出没7 天前
解密数仓中的ODS、DWD、DWS、ADS
数据库·数据仓库