一文掌握 Apache SeaTunnel 构建系统与分发基础架构

本文介绍基于Maven的SeaTunnel构建系统与分发基础架构。涵盖多模块项目如何构建、二进制分发包如何组装、连接器插件如何打包与发现,以及如何创建Docker镜像用于部署。

有关运行时插件加载机制的信息,请参阅插件管理与发现(https://deepwiki.com/apache/seatunnel/4.1-plugin-management-and-discovery)。 有关CI/CD工作流程和测试的详细信息,请参阅CI/CD与测试框架(https://deepwiki.com/apache/seatunnel/5.1-cicd-and-testing-framework)。

Maven构建系统架构

SeaTunnel采用多模块Maven项目结构,根pom.xml定义整体构建配置和依赖管理。构建系统协调整个项目所有模块的编译、测试、打包和分发。

位于pom.xml 1 - 1136的根POM定义了Maven属性、依赖管理以及所有模块使用的构建插件。关键构建属性包括Java版本(java.version)、Scala版本(scala.version)以及各种依赖版本。

分发组装系统

seatunnel - dist模块使用Maven Assembly插件处理二进制分发的创建。它生成二进制和源代码分发包。

位于seatunnel - dist/pom.xml 1 - 964的分发模块使用Maven Assembly插件创建结构化的分发包。二进制组装包括:

  • 启动JAR包:针对Flink、Spark和SeaTunnel引擎的特定引擎启动模块
  • 连接器依赖项 :打包在connectors/目录中的所有连接器JAR包
  • 运行时库starter/logging/中的日志依赖项和共享库
  • Shell脚本bin/目录中具有适当文件权限的可执行脚本
  • 配置:默认配置文件和模板

插件发现与映射系统

SeaTunnel使用插件映射系统在运行时将连接器名称解析为JAR文件。plugin - mapping.properties文件作为所有可用连接器的中央注册表。

位于plugin - mapping.properties 1 - 153(https://github.com/apache/seatunnel/blob/02c7eb31/plugin - mapping.properties#L1-L153)的插件映射文件定义了如下映射:

  • seatunnel.source.Kafka = connector - kafka
  • seatunnel.sink.Console = connector - console
  • seatunnel.source.MySQL - CDC = connector - cdc - mysql

位于bin/install - plugin.sh 1 - 53(https://github.com/apache/seatunnel/blob/02c7eb31/bin/install - plugin.sh#L1-L53)的安装插件脚本会根据config/plugin_config 1 - 99(https://github.com/apache/seatunnel/blob/02c7eb31/config/plugin_config#L1-L99)中用户配置的插件选择,从Maven仓库下载连接器JAR包。

连接器分发策略

连接器与SeaTunnel核心二进制文件分开分发,以减小下载大小并允许选择性安装。构建系统将每个连接器及其依赖项打包为独立的JAR包。

位于seatunnel - dist/src/main/assembly/assembly - bin - ci.xml 144 - 161(https://github.com/apache/seatunnel/blob/02c7eb31/seatunnel - dist/src/main/assembly/assembly - bin - ci.xml#L144-L161)的CI组装包含所有连接器JAR包以进行全面测试,而位于seatunnel - dist/src/main/assembly/assembly - bin.xml 204 - 216(https://github.com/apache/seatunnel/blob/02c7eb31/seatunnel - dist/src/main/assembly/assembly - bin.xml#L204-L216)的标准二进制组装仅包含基本的演示连接器(connector - fake、connector - console、connector - cdc - base)。

连接器依赖管理在seatunnel - dist/pom.xml 162 - 205(https://github.com/apache/seatunnel/blob/02c7eb31/seatunnel - dist/pom.xml#L162-L205)中进行处理,其中JDBC驱动程序和第三方库被明确包含在分发中。

Docker分发系统

SeaTunnel提供用于容器化部署的Docker镜像。Docker构建过程会创建预安装所有必要依赖项的优化镜像。

位于seatunnel - dist/src/main/docker/Dockerfile 1 - 18(https://github.com/apache/seatunnel/blob/02c7eb31/seatunnel - dist/src/main/docker/Dockerfile#L1-L18)的Dockerfile创建一个多阶段构建,其步骤如下:

  1. 解压二进制分发压缩包
  2. 将日志配置为输出到控制台而非文件
  3. 将工作目录设置为/opt/seatunnel
  4. 复制用于集群模式的Hazelcast配置

Docker构建通过docker配置文件与Maven集成,可使用诸如docker.build.skip=false之类的构建属性触发。

依赖管理与阴影处理

SeaTunnel使用Maven Shade插件处理依赖冲突,并为不同组件创建超级JAR包。阴影处理策略确保在不同执行引擎上的兼容性。

位于pom.xml 708 - 752(https://github.com/apache/seatunnel/blob/02c7eb31/pom.xml#L708-L752)的根POM对Shade插件进行如下配置:

  • 排除日志框架以避免冲突
  • 针对META - INF/services文件的服务转换器
  • 移除签名文件以确保安全

已知依赖项记录在tools/dependencies/known - dependencies.txt 1 - 130(https://github.com/apache/seatunnel/blob/02c7eb31/tools/dependencies/known - dependencies.txt#L1-L130)中,以确保构建的可重复性和许可证合规性。

阴影模块会创建常见依赖项的重定位版本,以避免SeaTunnel在Flink或Spark集群上运行时出现类路径冲突。

原文链接:https://deepwiki.com/apache/seatunnel/2-build-system-and-distribution#dependency-management-and-shading

相关推荐
GM_8289 小时前
从0开始在Go当中使用Apache Thrift框架(万字讲解+图文教程+详细代码)
rpc·go·apache·thrift
观望过往19 小时前
Apache IoTDB 技术深度解析:存储引擎、查询优化与分布式架构在工业物联网、智慧能源和车联网场景的应用指南
apache·iotdb
ApachePulsar19 小时前
Apache Pulsar 在小红书线上场景的探索与实践
apache
迦蓝叶1 天前
Apache Jena SPARQL 查询完全指南:入门与实战案例
apache·知识图谱·图搜索算法·三元组·jena·sparql·图查询
向上的车轮2 天前
数据中台工作流编排引擎:Apache Airflow
apache
雾迟sec2 天前
Web安全-文件上传漏洞-黑白名单及其它绕过思路(附思维导图)
javascript·安全·web安全·网络安全·apache·安全威胁分析
yumgpkpm2 天前
CMP(类Cloudera CDP 7.3 404版华为泰山Kunpeng)和Apache Doris的对比
大数据·hive·hadoop·spark·apache·hbase·cloudera
zhangkaixuan4562 天前
Apache Paimon 查询全流程深度分析
java·apache·paimon
A-刘晨阳3 天前
时序数据库选型指南:从大数据视角切入,聚焦 Apache IoTDB
大数据·apache·时序数据库·iotdb
迦蓝叶3 天前
使用 Apache Jena 构建 Java 知识图谱
java·apache·知识图谱·图搜索·关系查询·关系推理