linux环境seatunnel安装运行

场景:

目前有个需求想实现mysql到clickhouse的同步,当前负责到这块中间踩了很多坑特此记录一下。

环境:

jdk 8

seatunnel2.3.3版本

clickhouse22.1.12

5.7.37-log

linux下载

export version="2.3.3"

wget "https://archive.apache.org/dist/incubator/seatunnel/${version}/apache-seatunnel-incubating-${version}-bin.tar.gz"

tar -xzvf "apache-seatunnel-incubating-${version}-bin.tar.gz"

配置seatunel环境变量

etc/profile.d/seatunel.sh中配置自己的环境变量

source /etc/profile

下载连接器

方式一:在线下载

1.在config下plugin_config配置所需连接器,按需下载,不需要的可以注释掉,也可以全部下载(在线的非常慢).

2.在bin目录下执行命令

./install-plugin.sh

方式二:手动下载

去maven仓库下载,使用seatunnel那个版本就去下对应的那个版本

https://mvnrepository.com/artifact/io.zipkin.java/zipkin-storage-elasticsearch-http

下载数据源依赖包

这个很重要(同样去maven仓库下载)开始入门时网上好多都没有介绍这一步,导致我运行官方测试用例时一直报错。

验证

官方案例一

v2.batch.config.template

在bin目录下执行

sh seatunnel.sh --config ../config/v2.batch.config.template -m local

控制台显示16行插入数据表示成功

相关推荐
tokepson1 小时前
Mysql下载部署方法备份(Windows/Linux)
linux·服务器·windows·mysql
nbsaas-boot3 小时前
SQL Server 存储过程开发规范(公司内部模板)
java·服务器·数据库
C_心欲无痕3 小时前
Dockerfile:构建 Docker 镜像
运维·docker·容器
zz_nj4 小时前
工作的环境
linux·运维·服务器
极客先躯4 小时前
如何自动提取Git指定时间段的修改文件?Win/Linux双平台解决方案
linux·git·elasticsearch
C_心欲无痕4 小时前
nginx - 实现域名跳转的几种方式
运维·前端·nginx
suijishengchengde5 小时前
****LINUX时间同步配置*****
linux·运维
willhuo5 小时前
基于xray的匿名、授权、IP白名单代理访问研究
服务器·网络·tcp/ip
幻云20105 小时前
AI自动化编排:从入门到精通(基于Dify构建AI智能系统)
运维·人工智能·自动化
qiuqyue5 小时前
基于虹软Linux Pro SDK的多路RTSP流并发接入、解码与帧级处理实践
linux·运维·网络