在 2024 年,Apache Flink 继续在大数据流计算领域稳固其领导地位,经过十年的不断努力与创新,我们欣喜地看到 Flink 不仅在技术架构上取得重大突破,更在业界实践中展现了强大的生命力。流式湖仓架构的提出与实施,标志着 Flink 从传统的流处理走向了更广泛的应用场景,满足了日益增长的实时数据处理需求。尤其是在今年阿里巴巴"双十一"活动中的成功应用,充分展示了 Flink+Paimon 架构的高效性与经济性,并在整个大数据生态中扮演了至关重要的角色。
并且在不久前的 10 月,在柏林的 Flink Forward 会议上,发布了 Flink 2.0 的预览版本,正式的 Flink 2.0 版本预计将在明年年初与大家见面。社区对于此次大版本升级的期待也不断升温。新版本将引入一系列非兼容性改动,旨在提升用户体验和生态合作伙伴的服务能力。同时,Flink的多语言API、丰富的连接器以及实时更新的数据湖存储支持,进一步巩固了其作为全球大数据流计算实时标准的地位。
接下来,我们将为您呈现 2024 年度 Apache Flink 社区前十篇最受欢迎的文章,从各个角度回顾 Apache Flink 以及相关生态的最新动态、技术细节以及行业应用,让我们一起回顾这一年来的精彩瞬间与重要进展。
2024 年 Apache Flink 社区最受欢迎文章 Top 10
2024年从 Apache Flink 孵化的项目 Apache Paimon 正式毕业成为 Apache 顶级项目,Flink CDC 项目也正式捐赠成为 Apache 基金会 Flink 的子项目,同时Apache Flink 持续在数据集成、湖仓一体、流批一体等技术领域不断创新,这份最受欢迎榜单体现了 Apache Flink 过去一年的重要发展。
|-----|---------------------------------------------------|
| TOP | 点击标题即可跳转 |
| 1 | 官宣|Apache Paimon 毕业成为顶级项⽬,数据湖步⼊实时新篇章! |
| 2 | Apache Flink 的过去、现在及未来 |
| 3 | 官宣|阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会 |
| 4 | 官宣|Apache Flink 1.20 发布公告 |
| 5 | 实时计算 Flash -- 兼容 Flink 的新一代向量化流计算引擎 |
| 6 | 新一代实时数据集成框架 Flink CDC 3.0 ------ 核心技术架构解析 |
| 7 | 流批一体技术简介 |
| 8 | 阿里巴巴瓴羊基于 Flink 实时计算的优化和实践 |
| 9 | 湖仓一体全面开启实时化时代 |
| 10 | Flink CDC:新一代实时数据集成框架 |
为了帮助大家更好地了解 Flink 的最新动态,我们也挑选了各个专场的前五名阅读文章,涵盖流式湖仓、流批一体、Flink CDC 以及行业实践方面的内容。带您深入探索 Apache Flink 在流处理、湖仓架构、实时数据处理等领域的发展,以及它如何继续为企业提供高效、可靠的解决方案。让我们一起回顾这些作品,更深入地理解 Apache Flink 在大数据流计算中的关键角色。
流式湖仓专题
Apache Paimon 于今年3月成功成为 Apache 顶级项目,计划发布1.0版本,以期实现数据与AI的统一湖格式,解决数据处理和AI应用中的关键问题。Paimon 在过去一年里经历了显著的发展,成为中文社区中最受欢迎的湖格式存储系统。它被广泛应用于各企业中,尤其是与上万个 Flink 流作业结合使用,以提高业务处理的时效性。
|-----|-----------------------------------------------|
| TOP | 点击标题即可跳转 |
| 1 | 官宣|Apache Paimon 毕业成为顶级项⽬,数据湖步⼊实时新篇章! |
| 2 | 湖仓一体全面开启实时化时代 |
| 3 | Apache Paimon 统一大数据湖存储底座 |
| 4 | Flink+Paimon+Hologres构建实时湖仓数据分析 |
| 5 | 饿了么基于Flink+Paimon+StarRocks的实时湖仓探索 |
Apache Flink 公众号主页点击 "流式湖仓"标签,点击订阅按钮,持续未来关注更多流式湖仓专题的文章。
关注回复"Paimon"加入 Apache Paimon 专题钉钉交流群。
流批一体专题
在很多开发者心目中,Flink 更多是作为流计算引擎的事实标准,但其实 Flink 也提供流批一体的能力,这些文章介绍了 Flink 在流批一体技术应用上的技术介绍及应用。
|-----|---------------------------------------|
| TOP | 点击标题即可跳转 |
| 1 | 流批一体技术简介 |
| 2 | 流模式vs批模式:你选对了吗? |
| 3 | Flink 流批一体在模型特征场景的使用 |
| 4 | Apache Flink 流批融合技术介绍 |
| 5 | 首个大数据批流融合国家标准正式发布,阿里云为牵头起草单位! |
Apache Flink 公众号主页点击 "Flink Batch"标签,点击订阅按钮,持续未来关注更多流批一体专题的文章。
关注回复"流批一体"加入 Flink Batch 专题交流群。
Flink CDC 专题
2024年,Flink CDC 项目正式捐赠成为 Apache 基金会 Flink 的子项目,Flink CDC 帮助各位开发者了解如何基于 Flink 设计实时数据集成框架,以及实时数据集成技术在不同业务领域的最佳实践。
|-----|---------------------------------------------------|
| TOP | 点击标题即可跳转 |
| 1 | 官宣|阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会 |
| 2 | 新一代实时数据集成框架 Flink CDC 3.0 ------ 核心技术架构解析 |
| 3 | Flink CDC:新一代实时数据集成框架 |
| 4 | Apache Flink CDC 3.1.0 发布公告 |
| 5 | Flink CDC:基于 Apache Flink 的流式数据集成框架 |
Apache Flink 公众号主页点击 "Flink CDC 系列"标签,点击订阅按钮,持续未来关注更多 Flink CDC 专题的文章。
关注回复"CDC"加入 Flink CDC 专题交流群。
行业实践专题
该专题探讨Apache Flink在关键行业场景中落地的实时数据驱动决策和分析的方案,通过这些案例,一起解析技术挑战,分享业务成果,促进实时数据处理技术的创新与发展。
|-----|----------------------------------------------|
| TOP | 点击标题即可跳转 |
| 1 | 阿里巴巴瓴羊基于 Flink 实时计算的优化和实践 |
| 2 | 饿了么基于 Flink+Paimon+StarRocks 的实时湖仓探索 |
| 3 | Apache Paimon 在蚂蚁的应用 |
| 4 | 探索Flink动态CEP:杭州银行的实战案例 |
| 5 | Flink 在蚂蚁实时特征平台的深度应用 |
Apache Flink 公众号主页点击 "行业案例"标签,点击订阅按钮,持续未来关注 Apache Flink 更多实践案例分享。
关注公众号,菜单点击联系我们--->社群学习交流,扫码添加小松鼠微信回复加群。
2024 即将结束,Apache Flink 凭借其不断的技术创新和在实时数据处理领域的广泛应用,巩固了其行业的领导地位,同时展现了大数据流计算的未来潜力。不管是 Apache Paimon 的正式毕业、Flink CDC 正式加入 Apache 基金会,还是 Fluss 的正式开源,这些里程碑式的发展均彰显了 Flink 社区的活力与进取精神。我们期待着即将发布的 Flink 2.0 版本,它将为用户带来更优化的使用体验。未来,随着流式湖仓架构和流批一体技术的不断深化,Apache Flink 将继续引领行业的技术革新,助力各行各业实现实时智能决策。在此,我们也鼓励大家关注和参与 Flink 社区,共同探索并推动大数据流计算的持续进步。
感谢大家的关注与支持,期待各位2025年与 Flink 携手迎接更加实时化的未来!
最后小松鼠在这里也祝大家新的一年万事定称心 !
活动推荐
阿里云基于 Apache Flink 构建的企业级产品-实时计算 Flink 版现开启活动:
新用户复制下方链接或者扫描二维码即可0元免费试用 Flink + Paimon
了解活动详情:https://free.aliyun.com/?pipCode=sc
▼ 关注「Apache Flink 」 ▼
回复 FFA 2024 获取大会资料
点击「阅 读原文 」 跳转阿里云实时计算 Flink~