linux环境seatunnel安装运行

场景:

目前有个需求想实现mysql到clickhouse的同步,当前负责到这块中间踩了很多坑特此记录一下。

环境:

jdk 8

seatunnel2.3.3版本

clickhouse22.1.12

5.7.37-log

linux下载

export version="2.3.3"

wget "https://archive.apache.org/dist/incubator/seatunnel/${version}/apache-seatunnel-incubating-${version}-bin.tar.gz"

tar -xzvf "apache-seatunnel-incubating-${version}-bin.tar.gz"

配置seatunel环境变量

etc/profile.d/seatunel.sh中配置自己的环境变量

source /etc/profile

下载连接器

方式一:在线下载

1.在config下plugin_config配置所需连接器,按需下载,不需要的可以注释掉,也可以全部下载(在线的非常慢).

2.在bin目录下执行命令

./install-plugin.sh

方式二:手动下载

去maven仓库下载,使用seatunnel那个版本就去下对应的那个版本

https://mvnrepository.com/artifact/io.zipkin.java/zipkin-storage-elasticsearch-http

下载数据源依赖包

这个很重要(同样去maven仓库下载)开始入门时网上好多都没有介绍这一步,导致我运行官方测试用例时一直报错。

验证

官方案例一

v2.batch.config.template

在bin目录下执行

sh seatunnel.sh --config ../config/v2.batch.config.template -m local

控制台显示16行插入数据表示成功

相关推荐
REDcker28 分钟前
DNS技术详解
服务器·后端·计算机网络·互联网·dns·服务端
上海合宙LuatOS28 分钟前
LuatOS核心库API——【io】 io操作(扩展)
java·服务器·前端·网络·单片机·嵌入式硬件·物联网
能源革命3 小时前
Ubuntu_24.04 安装OpenClaw教程
linux·ubuntu
志栋智能4 小时前
AI驱动的安全自动化机器人:从“告警疲劳”到“智能免疫”的防御革命
运维·人工智能·安全·机器人·自动化
laocui14 小时前
树莓派Ubuntu系统安装openclow(豆包+QQ机器人)
linux·运维·ubuntu
qq_24218863324 小时前
快速搭建跨环境检测服务的步骤
linux·开发语言·windows·python·macos
志栋智能5 小时前
自动化运维真的只能选复杂平台吗?
运维·网络·数据库·人工智能·自动化
月明长歌5 小时前
Java 网络编程套接字入门:从“发一段数据”到“写一个可并发的服务器”
java·服务器·网络
冗量5 小时前
《性能之巅》第七章:内存 读书笔记
服务器·性能优化·性能调优
呉師傅5 小时前
【操作技巧】Win10关机提示这个应用阻止关机。怎么解决?
运维·网络·windows·电脑