paimon

008.精读《Apache Paimon Docs - Table w/o PK》通过本文，上篇我们了解了Apache Paimon 主键表，本期我们将继续学习附加表（Append Only Table）我们将带领读者《《Apache Paimon Docs - Table w/o PK》》继续剖析 Paimon 的仅追加表相关知识。

paimon实战 -- 如何使用partial update实现并发写入paimon宽表代替双流join在湖仓业务开发中，进行宽表开发是常见的业务需求，常规方式都是通过双流或者多流进行join实现将多个表的数据合成一条数据写入宽表，但是join的方式会导致flink任务状态很大，任务不好维护。为了解决状态大的问题paimon提供了partial update，可以不使用join，完成多个insert into 写入或更新同一张表的同一条数据，本文将详细介绍partial update的使用方式和注意事项。

paimon实战 -- 数据写入和编辑底层数据流转过程解读执行以下创建表的语句将创建一个包含3个字段的Paimon表：这将会在路径 /tmp/paimon/default.db/T 下创建一个名为 T 的 Paimon 表，并且其表结构（schema）将存储在 /tmp/paimon/default.db/T/schema/schema-0 中。

【Apache Paimon】-- 5 -- Flink 向 Paimon 表写入数据目录1、通过CTAS/CDAS语句同步数据及表结构变更2、通过INSERT INTO语句插入或更新数据

Paimon x StarRocks 助力喜马拉雅构建实时湖仓作者：王琛喜马拉雅数仓专家小编导读：本文将介绍喜马拉雅直播的业务现状及数据仓库架构的迭代升级，重点分享基于 Flink + Paimon + StarRocks 实现实时湖仓的架构及其成效。我们通过分钟级别的收入监控、实时榜单生成、流量监测和盈亏预警，大幅提升了运营效率与决策质量，并为未来的业务扩展和 AI 项目打下坚实基础。

饿了么基于Flink+Paimon+StarRocks的实时湖仓探索作者：王沛斌@饿了么小编导读：本文整理自饿了么大数据架构师、Apache Flink Contributor 王沛斌老师在8月3日 Streaming Lakehouse Meetup Online（Paimon x StarRocks，共话实时湖仓架构）上的分享。主要分为以下三个内容：

Apache Paimon：开启实时湖仓存储新时代在当今数字化浪潮汹涌澎湃的时代，数据已成为企业最为宝贵的资产之一。如何高效地处理、存储和利用这些海量数据，成为了企业在激烈竞争中脱颖而出的关键。而在数据处理的广阔领域中，Apache Paimon 宛如一颗冉冉升起的新星，以其强大的功能和创新的技术，为实时湖仓存储带来了全新的变革。

Apache Paimon V0.9最新进展摘要：本文整理自 Paimon PMC Chair 李劲松老师在 8 月 3 日 Streaming Lakehouse Meetup Online（Paimon x StarRocks，共话实时湖仓架构）上的分享。主要分享 Apache Paimon V0.9 的最新进展以及遇到的一些挑战。

StarRocks Lakehouse 快速入门——Apache PaimonStarRocks Lakehouse 快速入门指南为您提供了湖仓技术概览，旨在帮助您迅速掌握其核心特性、独特优势和应用场景。本指南将指导您如何高效地利用 StarRocks 构建解决方案。文章末尾，我们集合了来自阿里云、饿了么、喜马拉雅和同程旅行等行业领导者在 StarRocks x Paimon Streaming Lakehouse 活动中的实战经验分享。通过这些真实案例，您可以更直观地了解如何在实际应用中发挥 StarRocks Lakehouse 的最佳效用。希望这些实践能启发您在自己的项目中应

Apache Paimon 在蚂蚁的应用摘要：本文整理自 Apache Paimon Committer 闵文俊老师在5月16日 Streaming Lakehouse Meetup · Online 上的分享。内容主要分为以下四个部分：

数据湖表格式 Hudi/Iceberg/DeltaLake/Paimon TPCDS 性能对比（Spark 引擎）当前，业界流行的集中数据湖表格式 Hudi/Iceberg/DeltaLake，和最近出现并且在国内比较火的 Paimon。我们现在看到的很多是针对流处理场景的读写性能测试，那么本篇文章我们将回归到大数据最基础的场景，对海量数据的批处理查询。本文主要介绍通过 TPC-DS 3TB 的数据的99个SQL，对这几种数据湖表格式的查询性能做一个全面的测试。

Flink+Paimon在阿里云大数据云原生运维数仓的实践随着大数据产品云原生化的推进，云原生集群的规模和数量都在增加，云原生集群的运维难度也在不断增加，云原生集群的资源审计、资源拓扑、资源趋势的需要就比较迫切。云原生集群的资源审计主要是 node 资源、pod 资源，如当前集群的 node 数量以及Pod 数量；资源拓扑主要构建用户->实例->pod->node->集群的关联关系，例如一个公有云用户，提供给运维团队可以通过 uid 查询到用户实例以及实例所在的节点/集群信息。资源趋势是整个团队所管理的集群资源使用趋势，pod 数量趋势、node 数量趋势、以及

从数据仓库到数据湖(下)：热门的数据湖开源框架在上一篇从数据仓库到数据湖(上)：数据湖导论文章中，我们简单讲述了数据湖的起源、使用原因及其本质。本篇文章将着重介绍市面上热门的数据湖开源框架，并分享笔者对当前数据湖技术的理解和看法。

探索 Apache Paimon 在阿里智能引擎的应用场景摘要：本文整理自Apache Yarn && Flink Contributor，阿里巴巴智能引擎事业部技术专家王伟骏（鸿历）老师在 5月16日 Streaming Lakehouse Meetup · Online 上的分享。内容主要分为以下三个部分：

一切如来心秘密

数据湖技术选型——Flink+Paimon 方向对比读写性能和对流批一体的支持情况，建议选择Apache Paimon 截止2024年1月12日数据湖四大开源项目特性如下：

flink on yarn paimonogg kafka paimon前置准备请看如下文章目标:ogg数据通过 flink 写入 paimon至此结束。

kyuubi整合spark on yarn目标:注意：版本 kyuubi 1.8.0 、 spark 3.4.2 、hadoop 3.3.6前置准备请看如下文章

聊聊流式数据湖Paimon(四)通过不同的流写不同的字段，打宽了数据的维度，填充了数据内容；如下所示：Paimon中的表被多流填充数据且打宽维度后，支持流读、批读的方式提供完整的Changelog给下游。

聊聊流式数据湖Paimon(三)如果表没有定义主键，则默认情况下它是仅追加表类型(Append Only Table)。根据桶(Bucket)的定义，我们有两种不同的仅追加模式："Append For Scalable Table"和"Append For Queue"；两种模式支持不同的场景，提供不同的功能。只能向表中插入一条完整的记录。不支持删除或更新，并且不能定义主键。此类表适合不需要更新的用例（例如日志数据同步）。

聊聊流式数据湖Paimon(二)Apache Paimon 最典型的场景是解决了 CDC (Change Data Capture) 数据的入湖；CDC 数据来自数据库。一般来说，分析需求是不会直接查询数据库的。