linux环境seatunnel安装运行

场景:

目前有个需求想实现mysql到clickhouse的同步,当前负责到这块中间踩了很多坑特此记录一下。

环境:

jdk 8

seatunnel2.3.3版本

clickhouse22.1.12

5.7.37-log

linux下载

export version="2.3.3"

wget "https://archive.apache.org/dist/incubator/seatunnel/${version}/apache-seatunnel-incubating-${version}-bin.tar.gz"

tar -xzvf "apache-seatunnel-incubating-${version}-bin.tar.gz"

配置seatunel环境变量

etc/profile.d/seatunel.sh中配置自己的环境变量

source /etc/profile

下载连接器

方式一:在线下载

1.在config下plugin_config配置所需连接器,按需下载,不需要的可以注释掉,也可以全部下载(在线的非常慢).

2.在bin目录下执行命令

./install-plugin.sh

方式二:手动下载

去maven仓库下载,使用seatunnel那个版本就去下对应的那个版本

https://mvnrepository.com/artifact/io.zipkin.java/zipkin-storage-elasticsearch-http

下载数据源依赖包

这个很重要(同样去maven仓库下载)开始入门时网上好多都没有介绍这一步,导致我运行官方测试用例时一直报错。

验证

官方案例一

v2.batch.config.template

在bin目录下执行

sh seatunnel.sh --config ../config/v2.batch.config.template -m local

控制台显示16行插入数据表示成功

相关推荐
雯宝1 小时前
mnt_init 函数
linux
律宏阔7 小时前
WSL Docker 端口明明空闲,但就是绑不上端口
linux·windows
律宏阔7 小时前
WSL 突然断网,无法 ping 内网或外网
linux·windows
穷人小水滴7 小时前
用容器编译 VirtualBox 虚拟机软件 (ArchLinux, podman)
linux·容器·virtualbox
乱码三千7 小时前
如何优雅地直连无公网 IP 的远程 GPU 服务器
linux·人工智能·程序员
yunwei377 小时前
使用 eBPF 跟踪 Nginx 请求
linux·后端·性能优化
yunwei377 小时前
使用 eBPF 跟踪 MySQL 查询
linux·后端·性能优化
yunwei377 小时前
eBPF 示例教程:使用 XDP 捕获 TCP 信息
linux·后端·性能优化
judezh7 小时前
api 容器一直 unhealthy?我把一个 Agent 运行时的健康检查逐条拆了,查出四个问题
运维·docker
GeW7 小时前
制造业高端化,为什么必须重估Linux和数据库?
linux