官宣!ChunJun 1.16 Release 版本发布!

亲爱的社区小伙伴们,我们很高兴地宣布,ChunJun 迎来 1.16 Release 版本的正式发布。在新版本中,ChunJun 新增了一批常用功能,进行了多项功能优化和问题修复,并在用户使用体验上进行了极大地改善。有9位Contributor 为 ChunJun 提交了多项优化和修复,感谢因为有你们才让 ChunJun 变得更好!

1、重要更新

(1)新增 Catalog 模块:本次 1.16 版本正式引入 独立的 Catalog 模块,为 Flink SQL 使用多种湖仓格式提供统一的元数据访问能力,支持 Paimon、Iceberg 等主流湖仓格式。

通过 Catalog,ChunJun 在湖仓场景下的生态能力进一步增强,Flink SQL 任务开发与管理更加统一、规范、便捷。

(2)Doris Sink 大幅性能优化:批写场景内存占用下降明显 & 性能翻倍

Doris Sink 在本版本中进行了系统性优化,包括数据缓冲区设计、批写逻辑优化。

  • 相比 1.16 Alpha 内存占用显著降低,减少频繁GC

  • 批写吞吐提升,实测性能翻倍

  • Stream Load 触发更加平滑,降低写入抖动

  • 优化异常重试机制,有效提升任务整体稳定性

(3)实时采集,kakfa支持按照主键分区写入

(4)优化 JDBC 插件,提升插件性能

(5)OceanBase插件支持mysql和oracle模式

以下为参与本次版本发布的人员名单,他们分别是(首字母排序):

2、体验地址

Github:https://github.com/DTStack/chunjun

3、社区官网:

https://dtstack.github.io/chunjun/

4、征集调研:

为了更好的规划 ChunJun 后续版本的演进方向(特别是同步任务引擎的优化、Flink内核版本稳定线的选择),现向社区用户征集调研,请大家基于实际使用情况,投出自己宝贵的一票。

👉投票地址:https://github.com/DTStack/chunjun/discussions/1965

感谢大家对ChunJun一直以来的支持,欢迎感兴趣的小伙伴前往体验新版本并且针对ChunJun未来的演进方向做出选择,让我们一起共建更好的开源生态!

相关推荐
大树886 小时前
金刚石散热越强,管路越先见顶
大数据·运维·服务器·人工智能·ai
大志哥1236 小时前
ES和Logstash日志链路系统上线后遭遇切片爆炸(解决)
大数据·elasticsearch
SM177152118387 小时前
NSK紧凑型FA系列丝杠技术详解
经验分享·规格说明书
果丁智能8 小时前
物联网智能锁赋能集中式住宿:身份核验与远程权限管控的全链路技术实践
大数据·人工智能·物联网·智能家居
ApacheSeaTunnel8 小时前
实战演示 | 基于 Apache SeaTunnel 与 Apache DolphinScheduler 实现 MySQL 到 Doris 离线定时增量同步
大数据·mysql·开源·doris·数据集成·seatunnel·数据同步
weixin_397574099 小时前
PDF复杂表格的1:1还原引擎:跨页表格自动拼接技术实战
大数据·人工智能·pdf
极光代码工作室9 小时前
基于数据仓库的电商数据分析平台
大数据·hadoop·python·spark·数据可视化
AndrewHZ9 小时前
【LLM技术全景】大模型能力探秘:In-Context Learning与思维链(CoT)
人工智能·语言模型·大模型·llm·cot·思维链·icl
Vergelight9 小时前
实战拆解|三类RAG架构差异:朴素、进阶、多轮RAG落地选型指南
架构·大模型·aigc·agent·ai产品经理·转行·ai后台设计
秋名山码民9 小时前
Graph RAG 深度解析:从向量检索到知识推理的技术演进
大数据·人工智能·rag