官宣!ChunJun 1.16 Release 版本发布!

亲爱的社区小伙伴们,我们很高兴地宣布,ChunJun 迎来 1.16 Release 版本的正式发布。在新版本中,ChunJun 新增了一批常用功能,进行了多项功能优化和问题修复,并在用户使用体验上进行了极大地改善。有9位Contributor 为 ChunJun 提交了多项优化和修复,感谢因为有你们才让 ChunJun 变得更好!

1、重要更新

(1)新增 Catalog 模块:本次 1.16 版本正式引入 独立的 Catalog 模块,为 Flink SQL 使用多种湖仓格式提供统一的元数据访问能力,支持 Paimon、Iceberg 等主流湖仓格式。

通过 Catalog,ChunJun 在湖仓场景下的生态能力进一步增强,Flink SQL 任务开发与管理更加统一、规范、便捷。

(2)Doris Sink 大幅性能优化:批写场景内存占用下降明显 & 性能翻倍

Doris Sink 在本版本中进行了系统性优化,包括数据缓冲区设计、批写逻辑优化。

  • 相比 1.16 Alpha 内存占用显著降低,减少频繁GC

  • 批写吞吐提升,实测性能翻倍

  • Stream Load 触发更加平滑,降低写入抖动

  • 优化异常重试机制,有效提升任务整体稳定性

(3)实时采集,kakfa支持按照主键分区写入

(4)优化 JDBC 插件,提升插件性能

(5)OceanBase插件支持mysql和oracle模式

以下为参与本次版本发布的人员名单,他们分别是(首字母排序):

2、体验地址

Github:https://github.com/DTStack/chunjun

3、社区官网:

https://dtstack.github.io/chunjun/

4、征集调研:

为了更好的规划 ChunJun 后续版本的演进方向(特别是同步任务引擎的优化、Flink内核版本稳定线的选择),现向社区用户征集调研,请大家基于实际使用情况,投出自己宝贵的一票。

👉投票地址:https://github.com/DTStack/chunjun/discussions/1965

感谢大家对ChunJun一直以来的支持,欢迎感兴趣的小伙伴前往体验新版本并且针对ChunJun未来的演进方向做出选择,让我们一起共建更好的开源生态!

相关推荐
小王毕业啦12 小时前
2005-2024年 省级-总抚养比、儿童抚养比、老年人抚养比数据(xlsx)
大数据·人工智能·数据挖掘·数据分析·社科数据·实证分析·经管数据
2501_9272835812 小时前
荣联汇智助力天津艺虹打造“软硬一体”智慧工厂,全流程自动化引领印刷包装行业数智变革
大数据·运维·数据仓库·人工智能·低代码·自动化
还是奇怪14 小时前
AI 提示词工程入门:用好的语言与模型高效对话
大数据·人工智能·语言模型·自然语言处理·transformer
童园管理札记15 小时前
【续】数字时代:学前教育的新改革
经验分享·深度学习·职场和发展·微信公众平台
Data_Journal15 小时前
如何使用cURL更改User Agent
大数据·服务器·前端·javascript·数据库
aseity16 小时前
跨平台项目中QString 与 非Qt 跨平台动态库在字符集上的一个实用的互操作约定.
c++·经验分享
weixin_4462608516 小时前
城市智能化的底层基石:基于腾讯地图服务生态的移动定位与导航架构指引
大数据·人工智能·架构
qq_2837200516 小时前
Vibe Coding 氛围编程入门教程:AI 时代的全新开发范式(零基础到实战)
大数据·人工智能
Volunteer Technology17 小时前
ES并发控制
大数据·elasticsearch·搜索引擎