您有一份 Apache Flink 社区年度报告请查收~

在 2024 年,Apache Flink 继续在大数据流计算领域稳固其领导地位,经过十年的不断努力与创新,我们欣喜地看到 Flink 不仅在技术架构上取得重大突破,更在业界实践中展现了强大的生命力。流式湖仓架构的提出与实施,标志着 Flink 从传统的流处理走向了更广泛的应用场景,满足了日益增长的实时数据处理需求。尤其是在今年阿里巴巴"双十一"活动中的成功应用,充分展示了 Flink+Paimon 架构的高效性与经济性,并在整个大数据生态中扮演了至关重要的角色。

并且在不久前的 10 月,在柏林的 Flink Forward 会议上,发布了 Flink 2.0 的预览版本,正式的 Flink 2.0 版本预计将在明年年初与大家见面。社区对于此次大版本升级的期待也不断升温。新版本将引入一系列非兼容性改动,旨在提升用户体验和生态合作伙伴的服务能力。同时,Flink的多语言API、丰富的连接器以及实时更新的数据湖存储支持,进一步巩固了其作为全球大数据流计算实时标准的地位。

接下来,我们将为您呈现 2024 年度 Apache Flink 社区前十篇最受欢迎的文章,从各个角度回顾 Apache Flink 以及相关生态的最新动态、技术细节以及行业应用,让我们一起回顾这一年来的精彩瞬间与重要进展。

2024 年 Apache Flink 社区最受欢迎文章 Top 10

2024年从 Apache Flink 孵化的项目 Apache Paimon 正式毕业成为 Apache 顶级项目,Flink CDC 项目也正式捐赠成为 Apache 基金会 Flink 的子项目,同时Apache Flink 持续在数据集成、湖仓一体、流批一体等技术领域不断创新,这份最受欢迎榜单体现了 Apache Flink 过去一年的重要发展。

|-----|---------------------------------------------------|
| TOP | 点击标题即可跳转 |
| 1 | 官宣|Apache Paimon 毕业成为顶级项⽬,数据湖步⼊实时新篇章! |
| 2 | Apache Flink 的过去、现在及未来 |
| 3 | 官宣|阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会 |
| 4 | 官宣|Apache Flink 1.20 发布公告 |
| 5 | 实时计算 Flash -- 兼容 Flink 的新一代向量化流计算引擎 |
| 6 | 新一代实时数据集成框架 Flink CDC 3.0 ------ 核心技术架构解析 |
| 7 | 流批一体技术简介 |
| 8 | 阿里巴巴瓴羊基于 Flink 实时计算的优化和实践 |
| 9 | 湖仓一体全面开启实时化时代 |
| 10 | Flink CDC:新一代实时数据集成框架 |

为了帮助大家更好地了解 Flink 的最新动态,我们也挑选了各个专场的前五名阅读文章,涵盖流式湖仓、流批一体、Flink CDC 以及行业实践方面的内容。带您深入探索 Apache Flink 在流处理、湖仓架构、实时数据处理等领域的发展,以及它如何继续为企业提供高效、可靠的解决方案。让我们一起回顾这些作品,更深入地理解 Apache Flink 在大数据流计算中的关键角色。

流式湖仓专题

Apache Paimon 于今年3月成功成为 Apache 顶级项目,计划发布1.0版本,以期实现数据与AI的统一湖格式,解决数据处理和AI应用中的关键问题。Paimon 在过去一年里经历了显著的发展,成为中文社区中最受欢迎的湖格式存储系统。它被广泛应用于各企业中,尤其是与上万个 Flink 流作业结合使用,以提高业务处理的时效性。

|-----|-----------------------------------------------|
| TOP | 点击标题即可跳转 |
| 1 | 官宣|Apache Paimon 毕业成为顶级项⽬,数据湖步⼊实时新篇章! |
| 2 | 湖仓一体全面开启实时化时代 |
| 3 | Apache Paimon 统一大数据湖存储底座 |
| 4 | Flink+Paimon+Hologres构建实时湖仓数据分析 |
| 5 | 饿了么基于Flink+Paimon+StarRocks的实时湖仓探索 |

Apache Flink 公众号主页点击 "流式湖仓"标签,点击订阅按钮,持续未来关注更多流式湖仓专题的文章。

关注回复"Paimon"加入 Apache Paimon 专题钉钉交流群。

流批一体专题

在很多开发者心目中,Flink 更多是作为流计算引擎的事实标准,但其实 Flink 也提供流批一体的能力,这些文章介绍了 Flink 在流批一体技术应用上的技术介绍及应用。

|-----|---------------------------------------|
| TOP | 点击标题即可跳转 |
| 1 | 流批一体技术简介 |
| 2 | 流模式vs批模式:你选对了吗? |
| 3 | Flink 流批一体在模型特征场景的使用 |
| 4 | Apache Flink 流批融合技术介绍 |
| 5 | 首个大数据批流融合国家标准正式发布,阿里云为牵头起草单位! |

Apache Flink 公众号主页点击 "Flink Batch"标签,点击订阅按钮,持续未来关注更多流批一体专题的文章。

关注回复"流批一体"加入 Flink Batch 专题交流群。

Flink CDC 专题

2024年,Flink CDC 项目正式捐赠成为 Apache 基金会 Flink 的子项目,Flink CDC 帮助各位开发者了解如何基于 Flink 设计实时数据集成框架,以及实时数据集成技术在不同业务领域的最佳实践。

|-----|---------------------------------------------------|
| TOP | 点击标题即可跳转 |
| 1 | 官宣|阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会 |
| 2 | 新一代实时数据集成框架 Flink CDC 3.0 ------ 核心技术架构解析 |
| 3 | Flink CDC:新一代实时数据集成框架 |
| 4 | Apache Flink CDC 3.1.0 发布公告 |
| 5 | Flink CDC:基于 Apache Flink 的流式数据集成框架 |

Apache Flink 公众号主页点击 "Flink CDC 系列"标签,点击订阅按钮,持续未来关注更多 Flink CDC 专题的文章。

关注回复"CDC"加入 Flink CDC 专题交流群。

行业实践专题

该专题探讨Apache Flink在关键行业场景中落地的实时数据驱动决策和分析的方案,通过这些案例,一起解析技术挑战,分享业务成果,促进实时数据处理技术的创新与发展。

|-----|----------------------------------------------|
| TOP | 点击标题即可跳转 |
| 1 | 阿里巴巴瓴羊基于 Flink 实时计算的优化和实践 |
| 2 | 饿了么基于 Flink+Paimon+StarRocks 的实时湖仓探索 |
| 3 | Apache Paimon 在蚂蚁的应用 |
| 4 | 探索Flink动态CEP:杭州银行的实战案例 |
| 5 | Flink 在蚂蚁实时特征平台的深度应用 |

Apache Flink 公众号主页点击 "行业案例"标签,点击订阅按钮,持续未来关注 Apache Flink 更多实践案例分享。

关注公众号,菜单点击联系我们--->社群学习交流,扫码添加小松鼠微信回复加群。

2024 即将结束,Apache Flink 凭借其不断的技术创新和在实时数据处理领域的广泛应用,巩固了其行业的领导地位,同时展现了大数据流计算的未来潜力。不管是 Apache Paimon 的正式毕业、Flink CDC 正式加入 Apache 基金会,还是 Fluss 的正式开源,这些里程碑式的发展均彰显了 Flink 社区的活力与进取精神。我们期待着即将发布的 Flink 2.0 版本,它将为用户带来更优化的使用体验。未来,随着流式湖仓架构和流批一体技术的不断深化,Apache Flink 将继续引领行业的技术革新,助力各行各业实现实时智能决策。在此,我们也鼓励大家关注和参与 Flink 社区,共同探索并推动大数据流计算的持续进步。

感谢大家的关注与支持,期待各位2025年与 Flink 携手迎接更加实时化的未来!

最后小松鼠在这里也祝大家新的一年万事定称心

活动推荐


阿里云基于 Apache Flink 构建的企业级产品-实时计算 Flink 版现开启活动:

新用户复制下方链接或者扫描二维码即可0元免费试用 Flink + Paimon

了解活动详情:https://free.aliyun.com/?pipCode=sc

▼ 关注「Apache Flink 」 ▼

回复 FFA 2024 获取大会资料

点击「阅 读原文 跳转阿里云实时计算 Flink~

相关推荐
泰迪智能科技018 小时前
“云梦乘风起,数智继风华”丨2024韩山师范学院数学与统计学院大数据方向企业微专业结业典礼圆满结束
大数据
GIS数据转换器9 小时前
低空经济新动力:无人机航测技术的普及与应用
大数据·人工智能·物联网·无人机·智慧城市
武子康9 小时前
大数据-266 实时数仓 - Canal 对接 Kafka 客户端测试
java·大数据·数据仓库·分布式·kafka
lisacumt9 小时前
【flink-cdc】flink-cdc 3版本debug启动pipeline任务,mysql-doris
大数据·mysql·flink
heheha_zj9 小时前
Flume拦截器的实现
大数据·flume
橙子 chen10 小时前
工具函数 - 调用http
java·大数据·网络·数据库·python·网络协议·http
weixin_3077791310 小时前
AWS EMR基础知识
大数据·spark·云计算
AI趋势预见11 小时前
FinDKG: 用于检测金融市场全球趋势的动态知识图谱与大型语言模型
大数据·人工智能·机器学习·金融·storm
ZStack开发者社区12 小时前
浙江中医药大学携手云轴科技ZStack荣获“鼎信杯”金鼎实践奖
大数据·人工智能·科技
quaer12 小时前
香农插值(sinc插值)实现
大数据·开发语言·c++·算法·matlab