DataX从入门到精通 第2课 ETL之DataX 安装datax-web

1、下载源码

datax-web地址为https://github.com/WeiYe-Jing/datax-web

2、编译源码

使用maven 进行编译,进行到datax-web所在目录,然后执行如下命令打包

复制代码
mvn -U install

编译成功之后产物有:datax-admin(控台)、datax-executor(执行器)、datax-web(完整部署包)

3、部署服务

1)使用datax-web-2.1.2.tar.gz进行部署,解压此文件。

2)准备一个mysql数据库,schema为datax-web

3)执行datax_web.sql中的脚本,文件位置为bin/db/datax_web.sql

4)编辑application.yml中的数据库信息,日志地址等

5)shell启动datax-admin服务

经测试使用install.shstart.sh、start-all.sh文件只适合在linux环境,无法在windows和mac直接使用,所以舍弃这种方法。

6)改造datax-admin、datax-executor为springboot项目

改造步骤省略,不懂技术的朋友可以使用ai工具来解决,如trae。

7)启动datax-admin服务

启动命令为

复制代码
nohup java -Xms1g -Xmx1g -jar datax-admin-2.1.2.jar > /dev/null 2>&1 &

通过 http://localhost:8080/index.html 访问,默认账号 admin / 123456

8)启动datax-executor服务

配置applicaiton.yml文件,这里重点配置addresses(多个admin逗号分隔)、jsonpath(datax任务的路径)、pypath(datax的可执行python路径)

启动命令

复制代码
nohup java -Xms1g -Xmx1g -jar datax-executor-2.1.2.jar > /dev/null 2>&1 &

登录到datax-admin系统,可以看到datax执行器已经注册成功,如果有多个执行器注册的话,这里会有多条数据。

相关资源我已经放到百度盘,有需要的关注加v入群获取。

下一节课我们将会通过一个例子来讲解如何同步数据,后续将会讲解datax的原生插件以及自研插件,敬请期待。

相关推荐
躺柒3 小时前
读数据架构知识体系指南01关系数据仓库(上)
数据仓库·架构·数据分析·spark·数据湖·关系数据库·企业数据仓库
tianhuo0032 天前
从MySQL到Apache Doris:生鲜供应链数仓的ETL流水线与SARIMA需求预测全实
数据仓库·数据中台·零售行业供应链数字化
SendTomo2 天前
.ico透明图标在线生成下载平台深度解析
大数据·数据结构·数据库·数据仓库·个人开发
qingwufeiyang_5303 天前
IceBerg学习笔记2
数据仓库·数据湖
学代码的CJY5 天前
CJY 知识工作台:博客写作使用指南
数据仓库·知识图谱
喻师傅5 天前
Apache Hudi 概述:从 Parquet 更新难题到数据湖 Upsert
大数据·数据仓库·big data
宽海智能仓储物流8 天前
航发自动化立体库异构系统改造:宽海智能30天联调技术全解析
运维·数据仓库·自动化
2601_962284178 天前
基于Apache Cassandra与Python的数据建模及ETL实践
python·nosql·etl·数据建模·apachecassandra
程序员小羊!9 天前
医疗数据仓库ODS层敏感信息防护实战:7大关键策略
数据仓库
欢迎来到祖安!9 天前
企业微信 API 接口能力介绍:支持消息收发、图片发送、表情互动、联系人管理等多场景应用
java·前端·数据仓库·spring cloud·企业微信