官宣!ChunJun 1.16 Release 版本发布!

亲爱的社区小伙伴们,我们很高兴地宣布,ChunJun 迎来 1.16 Release 版本的正式发布。在新版本中,ChunJun 新增了一批常用功能,进行了多项功能优化和问题修复,并在用户使用体验上进行了极大地改善。有9位Contributor 为 ChunJun 提交了多项优化和修复,感谢因为有你们才让 ChunJun 变得更好!

1、重要更新

(1)新增 Catalog 模块:本次 1.16 版本正式引入 独立的 Catalog 模块,为 Flink SQL 使用多种湖仓格式提供统一的元数据访问能力,支持 Paimon、Iceberg 等主流湖仓格式。

通过 Catalog,ChunJun 在湖仓场景下的生态能力进一步增强,Flink SQL 任务开发与管理更加统一、规范、便捷。

(2)Doris Sink 大幅性能优化:批写场景内存占用下降明显 & 性能翻倍

Doris Sink 在本版本中进行了系统性优化,包括数据缓冲区设计、批写逻辑优化。

  • 相比 1.16 Alpha 内存占用显著降低,减少频繁GC

  • 批写吞吐提升,实测性能翻倍

  • Stream Load 触发更加平滑,降低写入抖动

  • 优化异常重试机制,有效提升任务整体稳定性

(3)实时采集,kakfa支持按照主键分区写入

(4)优化 JDBC 插件,提升插件性能

(5)OceanBase插件支持mysql和oracle模式

以下为参与本次版本发布的人员名单,他们分别是(首字母排序):

2、体验地址

Github:https://github.com/DTStack/chunjun

3、社区官网:

https://dtstack.github.io/chunjun/

4、征集调研:

为了更好的规划 ChunJun 后续版本的演进方向(特别是同步任务引擎的优化、Flink内核版本稳定线的选择),现向社区用户征集调研,请大家基于实际使用情况,投出自己宝贵的一票。

👉投票地址:https://github.com/DTStack/chunjun/discussions/1965

感谢大家对ChunJun一直以来的支持,欢迎感兴趣的小伙伴前往体验新版本并且针对ChunJun未来的演进方向做出选择,让我们一起共建更好的开源生态!

相关推荐
字节跳动数据平台7 小时前
代码量减少 70%、GPU 利用率达 95%:火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
得物技术8 小时前
深入剖析Spark UI界面:参数与界面详解|得物技术
大数据·后端·spark
武子康9 小时前
大数据-238 离线数仓 - 广告业务 Hive分析实战:ADS 点击率、购买率与 Top100 排名避坑
大数据·后端·apache hive
武子康1 天前
大数据-237 离线数仓 - Hive 广告业务实战:ODS→DWD 事件解析、广告明细与转化分析落地
大数据·后端·apache hive
大大大大晴天1 天前
Flink生产问题排障-Kryo serializer scala extensions are not available
大数据·flink
warm3snow3 天前
Claude Code 黑客马拉松:5 个获奖项目,没有一个是"纯码农"做的
ai·大模型·llm·agent·skill·mcp
武子康3 天前
大数据-236 离线数仓 - 会员指标验证、DataX 导出与广告业务 ODS/DWD/ADS 全流程
大数据·后端·apache hive
武子康4 天前
大数据-235 离线数仓 - 实战:Flume+HDFS+Hive 搭建 ODS/DWD/DWS/ADS 会员分析链路
大数据·后端·apache hive
DianSan_ERP5 天前
电商API接口全链路监控:构建坚不可摧的线上运维防线
大数据·运维·网络·人工智能·git·servlet
够快云库5 天前
能源行业非结构化数据治理实战:从数据沼泽到智能资产
大数据·人工智能·机器学习·企业文件安全