seatunnel基于flink快速入门

第一步:安装seatunnel和插件

部署seatunnel

下载

arduino 复制代码
https://flink.apache.org/downloads/,这里选择flink-1.17.2-bin-scala_2.12.tgz

解压

ruby 复制代码
$ tar -xzf flink-*.tgz

浏览目录

bash 复制代码
cd flink-* && ls -l

启动flink

shell 复制代码
$ ./bin/start-cluster.sh

flink dashboard

第三步:添加job定义文件

编辑config/v2.streaming.conf.template,

ini 复制代码
env {
 execution.parallelism = 1
 job.mode = "BATCH"
}

source {
 FakeSource {
 result_table_name = "fake"
 row.num = 16
 schema = {
 fields {
 name = "string"
 age = "int"
 }
 }
 }
}

transform {
 FieldMapper {
 source_table_name = "fake"
 result_table_name = "fake1"
 field_mapper = {
 age = age
 name = new_name
 }
 }
}

sink {
 Console {
 source_table_name = "fake1"
 }
}

运行job(flink 版本在 1.15.x 以上的)

bash 复制代码
cd "apache-seatunnel-${version}"
./bin/start-seatunnel-flink-15-connector-v2.sh --config ./config/v2.streaming.conf.template

控制台输出

ini 复制代码
fields : name, age
types : STRING, INT
row=1 : elWaB, 1984352560
row=2 : uAtnp, 762961563
row=3 : TQEIB, 2042675010
row=4 : DcFjo, 593971283
row=5 : SenEb, 2099913608
row=6 : DHjkg, 1928005856
row=7 : eScCM, 526029657
row=8 : sgOeE, 600878991
row=9 : gwdvw, 1951126920
row=10 : nSiKE, 488708928
row=11 : xubpl, 1420202810
row=12 : rHZqb, 331185742
row=13 : rciGD, 1112878259
row=14 : qLhdI, 1457046294
row=15 : ZTkRx, 1240668386
row=16 : SGZCr, 94186144
相关推荐
武昌库里写JAVA1 小时前
SpringBoot+Vue 项目介绍
java·javascript·git·sql·ai
学长毕设2 小时前
基于SpringBoot的儿童慈善捐赠管理系统-附源码
java·spring boot·后端
慧一居士2 小时前
@RestControllerAdvice 的注解作用和使用
java
皮皮林5513 小时前
GitHub Copilot:你可以暂时不用,但别不知道它有多强
后端
学长毕设3 小时前
基于SpringBoot非遗文化展示与传播平台设计与实现-附源码
java·spring boot·后端
杨凯凡4 小时前
Spring Boot SSE 上线后不实时、频繁断线?Nginx 缓冲、心跳与连接回收实战
spring boot·后端·nginx
锋行天下4 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
金銀銅鐵5 小时前
用 Swing 重做操作数栈演示
java·jvm·后端
琳少_5 小时前
java程序开发笔记
java·开发语言·数据库·笔记
锋行天下5 小时前
langgraph 全栈项目(二)
前端·人工智能·后端