linux环境seatunnel安装运行

场景:

目前有个需求想实现mysql到clickhouse的同步,当前负责到这块中间踩了很多坑特此记录一下。

环境:

jdk 8

seatunnel2.3.3版本

clickhouse22.1.12

5.7.37-log

linux下载

export version="2.3.3"

wget "https://archive.apache.org/dist/incubator/seatunnel/${version}/apache-seatunnel-incubating-${version}-bin.tar.gz"

tar -xzvf "apache-seatunnel-incubating-${version}-bin.tar.gz"

配置seatunel环境变量

etc/profile.d/seatunel.sh中配置自己的环境变量

source /etc/profile

下载连接器

方式一:在线下载

1.在config下plugin_config配置所需连接器,按需下载,不需要的可以注释掉,也可以全部下载(在线的非常慢).

2.在bin目录下执行命令

./install-plugin.sh

方式二:手动下载

去maven仓库下载,使用seatunnel那个版本就去下对应的那个版本

https://mvnrepository.com/artifact/io.zipkin.java/zipkin-storage-elasticsearch-http

下载数据源依赖包

这个很重要(同样去maven仓库下载)开始入门时网上好多都没有介绍这一步,导致我运行官方测试用例时一直报错。

验证

官方案例一

v2.batch.config.template

在bin目录下执行

sh seatunnel.sh --config ../config/v2.batch.config.template -m local

控制台显示16行插入数据表示成功

相关推荐
moxiaoran575337 分钟前
使用docker安装myql 8.0
运维·docker·容器
qq_54702617944 分钟前
Linux 常用快捷键及文本编辑器
linux·运维·服务器
埃伊蟹黄面2 小时前
磁盘级文件系统核心原理解析
linux·文件
醇氧2 小时前
【Linux】 安装 Azul Zulu JDK
java·linux·运维
一直跑3 小时前
查看显卡驱动版本,查看哪个用户使用显卡(GPU)进程
linux·服务器
滴水之功3 小时前
Windows远程桌面(非图形化界面)连接Ubuntu22.04
linux
借你耳朵说爱你4 小时前
在Linux上挂载磁盘
linux
小成202303202654 小时前
Linux高级
linux·开发语言
ICT系统集成阿祥4 小时前
Linux运维最万能的三条指令
linux·运维·服务器
CAU界编程小白5 小时前
Linux系统编程系列之模拟文件操作
linux·算法