Apache SeaTunnel 9月份社区发展记录

各位热爱 SeaTunnel 的小伙伴们，9月份社区月报来啦！这里将定期更新SeaTunnel社区每个月的重大进展，欢迎关注！

月度Merge Stars

感谢以下小伙伴上个月为 Apache SeaTunnel 做的精彩贡献（排名不分先后）：

@ZhangWeike2000,@wuchunfu,@chl-wxp,@hawk9821,@happyboy1024,@jiamin13579,@CosmosNi,@EricJoy2048,@arshadmohammad,@liunaijie,@sunxiaojian,@BilwaST,@PeppaPage,@hailin0,@FuYouJ,@loustler,@corgy-w,@Zuhdan,@Carl-Zhou-CN,@Cheun99,@Hisoka-X,@zhangshenghang,@dailai,@liugddx

apache/seatunnel仓库

fix

• [hotfix]修复Docker镜像构建脚本 @liunaijie
• [Fix]调整Docker镜像发布设置 @liunaijie
• [Fix][Zeta]如果Zeta不是TCP发现的一部分，它将无法找到其他成员 @loustler
• [Fix][CI]在提交PR时，修复CI损失文档检查问题 @Hisoka-X
• [Hotfix][ci]修复GitHub CI许可证头部错误 @hawk9821

• \[Fix\]\[Connector-V2\]使用 JDK 11 时，遇到错误 "package sun.security.krb5 does not exist" 并尝试修复 Iceberg 的问题。 \]( " \[Fix\]\[Connector-V2\]使用 JDK 11 时，遇到错误 "package sun.security.krb5 does not exist" 并尝试修复 Iceberg 的问题。 ") @sunxiaojian

• [Fix][Connecotr-V2]修复Paimon动态桶表在主键中不是第一项 @hawk9821
• [Hotfix][Connector-V2]即使任务崩溃，也要释放Paimon目标相关的资源 @dailai
• [Fix][Connector-V2]修复Paimon的端到端错误 @hawk9821

• \[Fix\]\[CI\]为了解决CI错误，请添加文档同步。请注意，Apache SeaTunnel的"fix"和"feature"保持不变，不进行翻译。 \]( " \[Fix\]\[CI\]为了解决CI错误，请添加文档同步。请注意，Apache SeaTunnel的"fix"和"feature"保持不变，不进行翻译。 ") @zhangshenghang

• [Fix][Connector-V2]修复已知的目录创建和删除忽略问题 @corgy-w
• [Fix][Connector-V2]修复JDBC测试用例失败 @Hisoka-X
• [Hotfix][Core]修复MultiTableSink#PrepareCommit时的并发异常 @hailin0
• [Fix][Connector-V2]关于Apache SeaTunnel的Iceberg sink修复无法处理大写字段 @sunxiaojian
• [Fix][Connector-V2]修复某些可抛出异常未被捕获的问题 @Hisoka-X
• [Fix][Connector-v2]在JdbcCatalog的SQL查询中，对于表或数据库存在查询时抛出异常 @dailai
• [Hotfix][CDC]在配置multi_table_sink_replica时，修复DDL重复执行错误 @hailin0
• [Fix]修复Oracle查询表，将'char'改为'varchar'长度 @chl-wxp
• [Fix][Transforms-V2]修复LLM转换无法解析布尔值类型 @hawk9821
• [Hotfix]修复Iceberg在创建表时缺失列注释的问题 @hailin0
• [Fix][Document]修正PostgreSQL-CDC文档中的拼写错误 @Zuhdan
• [Fix][Common]修复Paimon 沉淀时的CommonError消息 @dailai
• [Hotfix][Connector-v2]修复connector-mongodb中的ClassCastException @dailai
• [Fix][JDBC]解决Starrocks JDBC方言目录与Starrocks连接器之间的冲突 @liunaijie
• [Fix][Test]修复FixSlotResourceTest不稳定的问题 @liunaijie
• [Fix][E2E]远程加载驱动程序忽略了证书 @hawk9821
• [Fix][Document]修复文档构建错误 @Hisoka-X
• [Hotfix][Connector-v2]修复jdbc oracle中使用table_list时出现的NullPointerException。 @dailai

improve

• [Improve][E2E]将Doris镜像更新至官方版本 @hawk9821
• [Improve][Spark]将数组类型转换为精确类型 @corgy-w
• [Improve][Connector-v2]移除无用的代码，并为paimon 沉淀添加变更日志文档。 @dailai
• [Improve][doc]优化startrocks sink文档 @jiamin13579
• [Improve][Doc]将日志添加到sidebars.js @Hisoka-X
• [Improve][Docs]为流式模式的Doris源添加调优指南 @dailai
• [Improve][Doc]优化引擎部署文档，针对跳过部署客户端 @Hisoka-X
• [Improve][Doc]Apache SeaTunnel 使用文档更新 @Carl-Zhou-CN
• [Improve][CI]将paimon移入单一任务 @Hisoka-X
• [Improve][Transform]优化内部SQL查询以适应映射字段类型 @liunaijie
• [Improve][Zeta]为尝试触发待检查点时记录日志，因为服务器的时间可能出错。 @dailai
• [Improve][Connector-V2]优化SQLServer包结构 @corgy-w
• [Feature][Flink]支持多张表的读取和写入 @PeppaPage
• [Feature][Zeta][Core]支持作业输出日志文件 @hailin0
• [Improve][Doc]添加一些连接器图标 @zhangshenghang
• [Improve][Core]配置变量更新文档和添加测试案例 @zhangshenghang
• [Feature][Connector-V2]SQL Server 支持用户自定义类型 @Hisoka-X
• [Improve][doc]修复Hive sink文档 @jiamin13579
• [Improve][Connector-V2]优化milvus代码 @corgy-w
• [Feature][Connector-V2]断言支持多表检查 @Hisoka-X
• [Feature][Connector-v2]支持Paimon的流式读取 @dailai
• [Feature][Connector-V2]关于Apache SeaTunnel的JDBC SAP HANA源表路径支持视图和同义词 @chl-wxp
• [Feature][Connector-V2]SFTP文件汇支持多表保存及模式 @chl-wxp
• [improve][Redis]Redis scan 命令支持的版本包括5、6、7。 @FuYouJ
• [Feature][Connector-V2]FTP文件汇支持多个表和保存模式 @chl-wxp
• [Feature][Connector-V2]优化Hudi 沉淀 @happyboy1024
• [Improve] [Connector-V2]优化milvus-connector配置代码 @corgy-w
• [Improve][Jdbc]对于 Jdbc 的 truncate table 操作，应该检查的是表而不是数据库。 @Hisoka-X
• [Feature][Rest Api]额外的REST API文档。 @liugddx
• [Improve][Iceberg]添加savemode创建表主键测试案例 @hailin0
• [Feature][Transforms-V2]LLM 转换支持自定义字段名称 @hawk9821
• [Improve][Connector-V2]时间支持默认值 @corgy-w
• [Improve][Connector-V2]支持读取归档压缩文件 @corgy-w
• [Improve][Document]重构作业环境配置文档 @Hisoka-X
• [Feature][Transforms-V2]LLM 转换支持 KimiAI @hawk9821
• [Improve][Doc]为MySQL-CDC模式添加文档说明 @dailai
• [Improve][Document]为作业配置文件后缀添加提醒 @Hisoka-X
• [Improve][doc]修复的遥测文档 @corgy-w
• [Feature][Transforms-V2]LLM转支持字段投影 @hawk9821
• [Feature][REST-API]添加threaddump rest api @liugddx
• [Feature][Core]取消任务批处理命令 @zhangshenghang
• [Improve][Docs]资源隔离 添加 更新 节点标签 链接 @Cheun99
• [Feature][kafka]为间隔轮询消息添加参数 arg poll.timeout @CosmosNi
• [Feature][rest-api]是否添加主节点标识符 @liugddx
• [Improve][Transform-v2]重构一个从FilterFieldTransform来的transformRow @loustler
• [Improve][Docs]在sql-config中为一个关键词添加使用方法 @dailai
• [Improve][Connector-V2]Flink 支持嵌入式转换 @corgy-w
• [Improve][Transform]LLM 转换支持 Doubao @corgy-w
• [Improve][Zeta]拆分任务组的类加载器 @Hisoka-X
• [Improve][Test][Connector-V2][MongoDB]为BsonToRowDataConverters添加几个测试用例 @loustler
• [Improve][Document]更新jar下载链接和侧边栏格式 @Hisoka-X
• [Improve][Connector-V2][MongoDB]一个BsonInt32将被转换为long类型 @loustler
• [Feature][zeta]支持通过Prometheus exporter协议暴露监控指标 @corgy-w
• [Feature]支持配置变量替换，具有默认值 @zhangshenghang
• [Feature][Connector-V2]Apache SeaTunnel Paimon Sink 支持清空表 @hawk9821
• [Improve][Connector-v2]针对Paimon 沉淀，在大小写敏感情况下优化异常消息 @dailai
• [Improve][Document]优化快速开始和从源代码构建 @Hisoka-X
• [Feature][Zeta]为节点添加REST API以更新标签 @Cheun99
• [Feature][Transform]添加嵌入式转换 @corgy-w
• [Improve][Transform]在jsonpath转换中支持errorHandleWay @hailin0
• [Feature][Connector-V2][Hbase]实现HBase目录 @zhangshenghang
• [Feature][Elastic search]支持多表源特性 @FuYouJ
• [Feature][Zeta]支持slf4j mdc跟踪作业ID输出到日志 @hailin0
• [Feature][Connector-V2]支持TiDB CDC连接器源 @sunxiaojian

others

• [Docs]更新 动态编译 文档 @liunaijie

• [Doc]修复文档符号转义错误 @zhangshenghang

• [Chore]代码规范调整 @ZhangWeike2000

• [Chore]在zeta示例日志中输出job-id @hailin0

• [Docs][kafka]添加kafka protobuf文档 @zhangshenghang

• [Docs]添加Docker集群指南 @liunaijie

  apache/seatunnel

improve

• [Feature][Connector-Paimon]支持动态桶划分提升Paimon写入效率 @hawk9821
• [Improve][EventService]改进事件代码并将事件代码提取到EventService @EricJoy2048
• [Improve][Kafka]Apache SeaTunnel 的 Kafka 源重构了一些读者的读取逻辑 @Carl-Zhou-CN

apache/seatunnel-website仓库

fix

• [Fix]无法导入图标 @Hisoka-X
• [Fix]在使用深色模式时，修复团队标题难以注意到 @Hisoka-X
• [Fix]在使用深色模式时，修复团队标题难以注意到 @Hisoka-X

improve

• [Improve]更新favicon.ico @Hisoka-X
• [Improve]支持深色模式 @Hisoka-X
• [Improve]移除导师标签，因为SeaTunnel属于TLP。 @Hisoka-X

others

• 添加文档卡片 @zhangshenghang

  apache/seatunnel-web仓库

fix

• [Bug][Seatunnel-web][DB2]由于不正确地使用数据库和模式名称，DB2 数据源失败。 @arshadmohammad
• [Bug][Seatunnel-web][Hive]在尝试使用Hive连接器保存作业时发生了错误。 @arshadmohammad
• [Bug] [Seatunnel-web][Hive]在配置Hive源时，Hive数据源没有出现在UI中。 @arshadmohammad
• [Bug] [Seatunnel-web] [Metrics]从seatunnel-engine获取指标时出现NPE。 @arshadmohammad
• [Bug][Seatunnel-web]任务实例过滤器没有按预期工作 @arshadmohammad
• [Bug] [Seatunnel-web]作业模式是硬编码的，作业创建API始终创建BATCH作业 @arshadmohammad

• \[Bug\] \[Seatunnel-web\]当传递作业模式时，"/seatunnel/api/v1/job/definition" 的 GET 请求失败。 \]( " \[Bug\] \[Seatunnel-web\]当传递作业模式时，"/seatunnel/api/v1/job/definition" 的 GET 请求失败。 ") @arshadmohammad

improve

• [Improvement][Seatunnel-web]在集成测试中支持H2数据库 @arshadmohammad
• [Improvement][Seatunnel-web][Hive-JDBC]将Hive-JDBC添加到seatunnel-web @arshadmohammad
• [Improvement][Seatunnel-web]将包com.whaleops.datasource重命名为org.apache.seatunnel @arshadmohammad
• [Improve][SeaTunnel-Web]统一使用JSONUtils @wuchunfu
• [Improve][SeaTunnel-Web]统一版本 @wuchunfu
• [Improve][SeaTunnel-Web]将JobMode和EngineType更改为枚举类型以避免硬编码 @wuchunfu
• [Improvement][Seatunnel-web]dom4j-1.6.1.jar存在多个CVE，更新... @BilwaST
• [Feature][Seatunnel-web]在作业配置中添加支持，可以配置占位符并设置默认值。 @arshadmohammad
• [Improve]为版本2.3.8更新README.md @Hisoka-X
• [Improve][SeaTunnel-Web]将JobStatus转换为枚举类型以避免硬编码 @wuchunfu
• [Improvement] [Seatunnel-web]velocity-1.7.jar存在多个CVE漏洞，升级所有依赖此组件的maven插件。 @arshadmohammad

本文由 白鲸开源科技 提供发布支持！