linux环境seatunnel安装运行

场景:

目前有个需求想实现mysql到clickhouse的同步,当前负责到这块中间踩了很多坑特此记录一下。

环境:

jdk 8

seatunnel2.3.3版本

clickhouse22.1.12

5.7.37-log

linux下载

export version="2.3.3"

wget "https://archive.apache.org/dist/incubator/seatunnel/${version}/apache-seatunnel-incubating-${version}-bin.tar.gz"

tar -xzvf "apache-seatunnel-incubating-${version}-bin.tar.gz"

配置seatunel环境变量

etc/profile.d/seatunel.sh中配置自己的环境变量

source /etc/profile

下载连接器

方式一:在线下载

1.在config下plugin_config配置所需连接器,按需下载,不需要的可以注释掉,也可以全部下载(在线的非常慢).

2.在bin目录下执行命令

./install-plugin.sh

方式二:手动下载

去maven仓库下载,使用seatunnel那个版本就去下对应的那个版本

https://mvnrepository.com/artifact/io.zipkin.java/zipkin-storage-elasticsearch-http

下载数据源依赖包

这个很重要(同样去maven仓库下载)开始入门时网上好多都没有介绍这一步,导致我运行官方测试用例时一直报错。

验证

官方案例一

v2.batch.config.template

在bin目录下执行

sh seatunnel.sh --config ../config/v2.batch.config.template -m local

控制台显示16行插入数据表示成功

相关推荐
honsor5 小时前
以太网温湿度传感器:RJ45直连机房的环境监控新方案
运维·网络·数据库·物联网·安全·云计算·github
西索斯coding5 小时前
Kimi k2.7-code-highspeed 接入 Cline 教程:baseURL 路由变更 + model_id 正确写法
java·服务器·数据库·ai
zxcvb1535 小时前
规定备份信息的备份方式:从策略制定到自动化落地的实践思考
运维·oracle·自动化
吠品6 小时前
HTTPS 真身:HTTP 套了层 TLS
java·服务器·前端
ZeroNews内网穿透6 小时前
内网穿透安全加固实践:通过 Geo 地理围栏阻挡境外扫描风险
运维·安全·devops
java_logo6 小时前
Docker 部署 Emby:轻松搭建家庭影音媒体服务器
服务器·docker·nas·emby·飞牛nas·群晖nas·轩辕镜像
柏慧通云报餐6 小时前
智慧食堂食材溯源数字化方案|采购 - 入库 - 餐桌全链路记录体系落地实践
大数据·运维·人工智能
北风催呀催6 小时前
HuggingFace下载镜像加速技巧
linux·huggingface
河北清兮网络科技6 小时前
直播APP商用开发深度解析:为什么模板系统无法支撑规模化直播平台
运维·网络·人工智能·小程序·短剧app