Apache SeaTunnel Web 功能正式发布!

Apache SeaTunnel Web 功能正式发布!

在大数据技术的不断进步之下,Apache SeaTunnel 成为了众多开发者和企业关注的焦点。今天,我们很高兴地宣布:Apache SeaTunnel Web功能已正式发布,带来了前所未有的易用性和效率。

Apache SeaTunnel Web 是 SeaTunnel 项目下的一个新组件,专为那些希望通过图形化界面管理和监控其大数据流处理任务的用户设计。不再需要复杂的命令行操作,开发者和数据工程师现在可以在友好的用户界面上轻松配置、提交和管理他们的任务。

准备Apache SeaTunnel环境

由于Apache SeaTunnel Web使用SeaTunnel Java Client提交作业,运行SeaTunnel Web需要首先准备一个SeaTunnel Zeta引擎服务。

基于SeaTunnel Zeta引擎的使用要求,提交作业的SeaTunnel客户端节点必须与运行作业的SeaTunnel服务器节点具有相同的操作系统和安装目录结构。因此,如果您想在IDEA中运行SeaTunnel Web,您必须在与IDEA相同的机器上安装并运行一个SeaTunnel Zeta引擎服务器。

别担心,下面的步骤将告诉您如何在不同情况下正确安装SeaTunnel Zeta引擎服务器。

在服务器上运行SeaTunnel Web

要在服务器上运行SeaTunnel Web,您需要首先拥有一个SeaTunnel Zeta引擎服务器环境。如果您还没有,您可以参考以下步骤进行部署。

在服务器节点上部署SeaTunnel Zeta Engine Server

您有两种方式获取SeaTunnel安装包。从源代码构建或从SeaTunnel网站下载。

这里使用的SeaTunnel版本仅用于编写此文档以展示使用的过程,并不一定代表正确的版本。SeaTunnel Web和SeaTunnel引擎有严格的版本依赖性,您可以通过xxx确认具体的版本映射

支持的SeaTunnel版本

  • 仅SeaTunnel 2.3.3

从源代码构建

  • https://seatunnel.apache.org/downloadhttps://github.com/apache/seatunnel.git 获取源代码包
  • 使用maven命令构建安装包 ./mvnw -U -T 1C clean install -DskipTests -D"maven.test.skip"=true -D"maven.javadoc.skip"=true -D"checkstyle.skip"=true -D"license.skipAddThirdParty"
  • 然后您可以在 ${Your_code_dir}/seatunnel-dist/target 中获取安装包,例如:apache-seatunnel-2.3.3-SNAPSHOT-bin.tar.gz

下载安装包

获取SeaTunnel Zeta引擎服务器安装包的另一种方式是从 https://seatunnel.apache.org/download 下载安装包并在线安装插件。

  • 下载并安装连接器插件(在此过程中,一些第三方依赖包也将自动下载并安装,例如hadoop jar)。您可以从 https://seatunnel.apache.org/docs/2.3.3/start-v2/locally/deployment 获取步骤。
  • 完成前一步后,您将收到一个可用于在服务器上安装SeaTunnel Zeta引擎服务器的安装包。运行 tar -zcvf apache-seatunnel-2.3.3-SNAPSHOT-bin.tar.gz apache-seatunnel-2.3.3-SNAPSHOT

部署SeaTunnel Zeta服务器

在完成3.1.1或3.1.2之后,您可以获得一个安装包 apache-seatunnel-2.3.3-SNAPSHOT-bin.tar.gz,然后您可以将其复制到您的服务器节点并参考 https://seatunnel.apache.org/docs/seatunnel-engine/deployment 进行部署。

部署SeaTunnel Zeta客户端

如果您使用SeaTunnel Web,您需要在SeaTunnel Web运行节点中部署一个SeaTunnel Zeta客户端。如果您在同一节点上运行SeaTunnel Zeta服务器和SeaTunnel Web,您可以跳过此步骤。

  • apache-seatunnel-2.3.3-SNAPSHOT-bin.tar.gz 复制到SeaTunnel Web节点并解压缩到SeaTunnel Zeta服务器节点的相同路径。
  • 设置 SEATUNNEL_HOME 为环境变量,就像SeaTunnel Zeta服务器节点一样。
  • 配置 hazelcast-client.yaml 参考 https://seatunnel.apache.org/docs/seatunnel-engine/deployment#6-config-seatunnel-engine-client
  • 运行 $SEATUNNEL_HOME/bin/seatunnel.sh --config $SEATUNNEL_HOME/config/v2.batch.config.template,如果这个作业运行完成,表示客户端部署成功。

下载并安装SeaTunnel Web

  1. https://seatunnel.apache.org/download 下载seatunnel web
  2. apache-seatunnel-web-bin-${project.version}.tar.gz 复制到您的服务器节点并解压缩。
shell 复制代码
tar -zxvf apache-seatunnel-web-bin-${project.version}.tar.gz

初始化数据库

编辑 apache-seatunnel-web-bin-${project.version}/script/seatunnel_server_env.sh 文件,完成已安装的数据库地址、端口、用户名和密码。这里是一个例子:

复制代码
```
export HOSTNAME="localhost"
export PORT="3306"
export USERNAME="root"
export PASSWORD="123456"
```
  1. 运行初始化 shell sh apache-seatunnel-web-bin-${project.version}/script/init_sql.sh 如果操作过程中没有错误,就表示初始化成功。

2.4 配置应用并运行SeaTunnel Web后端服务器

  • 编辑 apache-seatunnel-web-bin-${project.version}/conf/application.yml 在文件中填写数据库连接信息。
  • 复制 $SEATUNNEL_HOME/config/hazelcast-client.yamlapache-seatunnel-web-bin-${project.version}/conf/
  • 复制 apache-seatunnel-2.3.3-SNAPSHOT/connectors/plugin-mapping.properties 文件到 apache-seatunnel-web-bin-${project.version}/conf/ 目录.

2.5 启动SeaTunnel Web

shell 复制代码
cd apache-seatunnel-web-${project.version}
sh bin/seatunnel-backend-daemon.sh start

在浏览器中访问http://127.0.0.1:8801/ui/ ,默认用户名和密码是admin/admin。

本文由 白鲸开源科技 提供发布支持!

相关推荐
L耀早睡17 分钟前
mapreduce打包运行
大数据·前端·spark·mapreduce
姬激薄23 分钟前
MapReduce打包运行
大数据·mapreduce
计算机人哪有不疯的25 分钟前
Mapreduce初使用
大数据·mapreduce
菜鸟冲锋号1 小时前
Flink SQL、Hudi 、Doris在数据上的组合应用
大数据·flink
尘世壹俗人1 小时前
hadoop.proxyuser.代理用户.授信域 用来干什么的
大数据·hadoop·分布式
鸿乃江边鸟3 小时前
Starrocks的主键表涉及到的MOR Delete+Insert更新策略
大数据·starrocks·sql
maozexijr4 小时前
Flink 的任务槽和槽共享
大数据·flink
问道飞鱼5 小时前
【大数据知识】今天聊聊Clickhouse部署方案
大数据·clickhouse·部署
金融小师妹8 小时前
应用BERT-GCN跨模态情绪分析:贸易缓和与金价波动的AI归因
大数据·人工智能·算法
武子康8 小时前
大语言模型 10 - 从0开始训练GPT 0.25B参数量 补充知识之模型架构 MoE、ReLU、FFN、MixFFN
大数据·人工智能·gpt·ai·语言模型·自然语言处理