技术栈
paimon
StarRocks_labs
20 小时前
starrocks
·
olap
·
schema
·
paimon
·
fluss
·
湖流一体
基于 Fluss、Paimon 与 StarRocks 构建淘天集团湖流一体数据链路
作者:朱奥,淘天集团高级数据开发工程师导读:本文整理自淘天集团朱奥在 Flink Forward Asia 2026 的分享,介绍了 Fluss、Paimon 与 StarRocks 构建湖流一体架构的实践:Fluss 负责秒级实时数据,Paimon 沉淀历史数据,StarRocks 提供统一分析入口,实现秒级至历史数据的一体化分析。目前,该方案已实现开发效率提升 50% 以上、实时链路成本降低 80% 以上。
StarRocks_labs
2 天前
starrocks
·
kafka
·
lambda
·
查询
·
paimon
·
fluss
·
湖流一体
StarRocks x Fluss x Paimon 湖流一体方案:构建秒级响应、湖流一体的实时数据引擎
StarRocks x Fluss x Paimon 湖流一体方案通过将 Apache Fluss(面向分析场景的实时流存储)与 Apache Paimon(高性能湖格式表)深度融合,以 StarRocks 作为统一查询入口,构建了一套具备秒级新鲜度、十倍成本降低、一份数据一次查询的全新实时数据引擎。本文将介绍该方案的核心架构、技术优势、查询模式以及实现原理。
StarRocks_labs
3 天前
starrocks
·
paimon
·
业务分析
·
多模态处理
·
混合检索
·
全模态能力
·
内容处理
StarRocks 全模态能力导读:连接内容理解、混合检索与业务分析
作者:周康,阿里云开源 OLAP 引擎团队负责人;StarRocks TSC Member导读:当图片、视频和文档经过模型理解并转化为描述、标签和向量,业务需要解决的已不只是“如何找到相似内容”,还包括结构化过滤、混合检索及后续的关联分析。本文将介绍 StarRocks 为什么建设全模态能力,以及多模态处理、内表、Paimon 和 Lance 四个能力方向如何连接内容理解、检索与业务分析。
阿坤带你走近大数据
3 个月前
flink
·
数据湖
·
paimon
Paimon相关概念的介绍
Apache Paimon(原名 Flink Table Store)是专为 流批一体 设计的下一代数据湖存储格式。它不仅仅是一个文件格式,更是一个完整的 Streaming Data Lake Platform。
胖胖胖胖胖虎
3 个月前
flink
·
paimon
Paimon Lookup Join 详解
Lookup Join 是 Paimon 特有的一种维表关联方式。它不是标准 SQL 里的 join 类型,而是 Paimon 根据自身 LSM 存储特性设计出来的 *快照查询式 Join*。
老徐电商数据笔记
6 个月前
apache
·
湖仓一体
·
paimon
·
湖仓
一个典型的基于 Apache Paimon 的湖仓一体架构图
前面我们给出了:基于 Hudi 的湖仓一体架构图,我看很多伙伴挺感兴趣,今天我们一起来看看:基于 Apache Paimon 的湖仓一体架构图 是怎么样的?以及它和hudi之间的区别。
zhangkaixuan456
6 个月前
大数据
·
flink
·
paimon
·
gravitino
·
datalake
Paimon 数据湖 + Gravitino 元数据中心:技术原理与实战指南
Apache Paimon 是一个流批一体的数据湖存储格式,支持高吞吐的数据摄入和高效的实时/批量查询。Apache Gravitino 可以作为 Paimon 的统一元数据中心,通过 lakehouse-paimon Catalog 插件直接对接 Paimon 的元数据层,实现:
阿里云大数据AI技术
7 个月前
starrocks
·
阿里云
·
spark
·
paimon
淘宝闪购基于阿里云 EMR Serverless Spark&Paimon 的湖仓实践:超大规模下的特征生产&多维分析双提效
淘宝闪购从25年春天的横空出世,到秋天“第一杯奶茶”的火爆,再到今天成为广大消费者即时生活服务的日常,业务团队取得了巨大的突破,背后自然少不了技术团队的支撑。经过一年多的探索实践,闪购大数据团队沉淀了以Paimon为底座,流、批、分析多引擎协作的Lakehouse架构。本文介绍阿里云 Serverless Spark + Paimon在淘宝闪购大数据湖仓场景的应用。
zhangkaixuan456
7 个月前
java
·
算法
·
数据湖
·
lsm-tree
·
paimon
Paimon Split 机制深度解析
📌 重要提示:本文档已更新为 v2.0,系统性地区分了主键表和非主键表的 Split 生成策略。建议先阅读《Paimon 主键表 vs 非主键表核心差异》了解基础概念。
zhangkaixuan456
7 个月前
大数据
·
hadoop
·
flink
·
apache
·
paimon
Paimon 读取数据流程深度解析
📌 重要提示:本文档系统性地区分了主键表和非主键表的处理流程。建议先阅读《Paimon 主键表 vs 非主键表核心差异》了解基础概念。
zhangkaixuan456
7 个月前
大数据
·
数据库
·
flink
·
apache
·
paimon
paimon 主键表 vs 非主键表配置速查
快速决策工具:一页纸搞定主键表和非主键表的选择和配置是否是否需要 UPDATE/DELETE?主键表数据可能重复?
StarRocks_labs
7 个月前
数据库
·
starrocks
·
olap
·
淘宝
·
paimon
双 11 大促峰值不翻车:淘天集团 Paimon + StarRocks 大规模 OLAP 查询实战与优化
作者:朱奥 /淘天集团高级数据工程师导读:双 11 等大促场景会在短时间内集中爆发:运营与业务 BI 在开卖后的窗口期密集访问数据产品,瞬时请求量陡增,对查询引擎的稳定性、成本与治理体系提出极高要求。与此同时,业务对近实时数据产品的诉求持续增强,传统“多存储、多链路、依赖回刷”的模式在研发效率、回刷成本与响应速度上逐步暴露瓶颈。
阿华田512
7 个月前
数据湖
·
paimon
·
数据湖建设
paimon实战-- 基于hive-catalog搭建paimon计算与存储环境
Apache Paimon 作为新一代 流批一体数据湖存储,在实时写入、近实时更新、主键表等场景下表现突出。相比 Iceberg / Hudi,Paimon 更偏向 Streaming-first 的设计,非常适合实时数仓与湖仓融合架构。
秦拿希
7 个月前
大数据
·
trino
·
paimon
【paimon-trino】trino整合paimon元数据访问s3
研究paimon catalog,在flink paimon导入数据到s3后,需要用trino去查询。