1. 架构本质：从"存算强绑定"到"三权分立"
在传统关系型数据库（如 PostgreSQL / MySQL）体系中，计算引擎、元数据管理与物理存储被紧密耦合在同一个操作系统进程与宿主机文件系统内：
- 计算层 ：单体
postgres守护进程负责 SQL 解析、查询优化、执行计划生成与缓冲区管理； - 事务层：依托本地内存中的锁管理器（Lock Manager）与顺序追加的预写日志（WAL - Write Ahead Log）维系 ACID 事务；
- 存储层 ：直接操作本地块存储（Block Storage）上的私有行式数据页文件（Heap Files，如
/var/lib/postgresql/data/base/...）。
这种强绑定模型虽然保障了单机低并发事务的高内聚，但在现代海量半结构化数据摄入与交互式敏捷分析场景下暴露出致命瓶颈：存储与算力无法独立弹性伸缩、物理文件格式闭源专有导致生态割裂、跨引擎并发写容易引发元数据死锁。
现代数据湖仓（Lakehouse）架构通过将传统数据库的核心组件彻底拆解为三个独立抽象层，重塑了数据系统的分工边界：
#mermaid-svg-OB8oH9sfShaUikxd{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-OB8oH9sfShaUikxd .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-OB8oH9sfShaUikxd .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-OB8oH9sfShaUikxd .error-icon{fill:#552222;}#mermaid-svg-OB8oH9sfShaUikxd .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-OB8oH9sfShaUikxd .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-OB8oH9sfShaUikxd .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-OB8oH9sfShaUikxd .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-OB8oH9sfShaUikxd .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-OB8oH9sfShaUikxd .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-OB8oH9sfShaUikxd .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-OB8oH9sfShaUikxd .marker{fill:#333333;stroke:#333333;}#mermaid-svg-OB8oH9sfShaUikxd .marker.cross{stroke:#333333;}#mermaid-svg-OB8oH9sfShaUikxd svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-OB8oH9sfShaUikxd p{margin:0;}#mermaid-svg-OB8oH9sfShaUikxd .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-OB8oH9sfShaUikxd .cluster-label text{fill:#333;}#mermaid-svg-OB8oH9sfShaUikxd .cluster-label span{color:#333;}#mermaid-svg-OB8oH9sfShaUikxd .cluster-label span p{background-color:transparent;}#mermaid-svg-OB8oH9sfShaUikxd .label text,#mermaid-svg-OB8oH9sfShaUikxd span{fill:#333;color:#333;}#mermaid-svg-OB8oH9sfShaUikxd .node rect,#mermaid-svg-OB8oH9sfShaUikxd .node circle,#mermaid-svg-OB8oH9sfShaUikxd .node ellipse,#mermaid-svg-OB8oH9sfShaUikxd .node polygon,#mermaid-svg-OB8oH9sfShaUikxd .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-OB8oH9sfShaUikxd .rough-node .label text,#mermaid-svg-OB8oH9sfShaUikxd .node .label text,#mermaid-svg-OB8oH9sfShaUikxd .image-shape .label,#mermaid-svg-OB8oH9sfShaUikxd .icon-shape .label{text-anchor:middle;}#mermaid-svg-OB8oH9sfShaUikxd .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-OB8oH9sfShaUikxd .rough-node .label,#mermaid-svg-OB8oH9sfShaUikxd .node .label,#mermaid-svg-OB8oH9sfShaUikxd .image-shape .label,#mermaid-svg-OB8oH9sfShaUikxd .icon-shape .label{text-align:center;}#mermaid-svg-OB8oH9sfShaUikxd .node.clickable{cursor:pointer;}#mermaid-svg-OB8oH9sfShaUikxd .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-OB8oH9sfShaUikxd .arrowheadPath{fill:#333333;}#mermaid-svg-OB8oH9sfShaUikxd .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-OB8oH9sfShaUikxd .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-OB8oH9sfShaUikxd .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-OB8oH9sfShaUikxd .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-OB8oH9sfShaUikxd .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-OB8oH9sfShaUikxd .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-OB8oH9sfShaUikxd .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-OB8oH9sfShaUikxd .cluster text{fill:#333;}#mermaid-svg-OB8oH9sfShaUikxd .cluster span{color:#333;}#mermaid-svg-OB8oH9sfShaUikxd div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-OB8oH9sfShaUikxd .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-OB8oH9sfShaUikxd rect.text{fill:none;stroke-width:0;}#mermaid-svg-OB8oH9sfShaUikxd .icon-shape,#mermaid-svg-OB8oH9sfShaUikxd .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-OB8oH9sfShaUikxd .icon-shape p,#mermaid-svg-OB8oH9sfShaUikxd .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-OB8oH9sfShaUikxd .icon-shape .label rect,#mermaid-svg-OB8oH9sfShaUikxd .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-OB8oH9sfShaUikxd .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-OB8oH9sfShaUikxd .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-OB8oH9sfShaUikxd :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 现代湖仓一体分层架构_Lakehouse
基于元数据剪枝读取/提交
持久化快照与Parquet列存
计算引擎层: Trino / Flink (纯无状态计算节点)
表格与事务层: Apache Iceberg (快照隔离 / 隐藏分区 / ACID)
对象存储底座: S3-Compatible Bucket (如 Cloudflare R2 / AWS S3)
传统关系型数据库单体模式_如PostgreSQL
计算层: postgres 进程 (SQL解析 / 内存计算)
事务层: 本地 WAL 日志 + 共享内存事务状态
存储层: 本地私有行存数据文件 (Heap Files)
三个核心组件在物理本质上分别对应传统数据库的关键构件：
| 湖仓三层栈组件 | 物理本质与规范定位 | 对标传统关系型数据库 (PostgreSQL) |
|---|---|---|
| Object Bucket (如 R2) | 分布式高可用对象存储底座，存放不可变物理文件 | 本地块设备文件系统 (/var/lib/postgresql/data) |
| Apache Iceberg | 开放表格式规范（Table Format），提供快照隔离与 ACID 事务树 | 本地 WAL 日志 + 数据字典系统表 (pg_class, pg_attribute) |
| Trino | 分布式纯内存大规模并行处理（MPP）查询计算引擎 | postgres 进程（执行 SQL 解析、CBO 优化、内存流式计算） |
2. 存储底座 (Object Storage)：不可变文件系统的物理形态
在湖仓架构中，对象存储（如 Cloudflare R2、AWS S3）不再按传统文件系统的层级目录树（Directory Tree）来组织，而是扁平的 Key-Value 寻址对象池。存储在 Bucket 内部的数据具有以下物理特征：
- 写一次不可变（Write-Once, Read-Many） ：
任何数据文件一旦被 Flink 或 Spark 写入完成并关闭，即变为物理只读不可变文件。修改或删除数据并不直接原地修改物理文件，而是生成新的文件版本； - 开放列式编码（Apache Parquet） ：
数据不再采用传统数据库的 8KB 物理行存页，而是采用标准的 Parquet 格式列式编码存储。每列数据单独连续排布，配合 Snappy 或 ZSTD 压缩算法，压缩比可达 5:1 至 10:1； - 零出网成本与近乎无限吞吐 ：
借助分布式存储协议，读写并发能力摆脱了单块 NVMe SSD 的物理 IOPS 瓶颈，由多节点网卡并发吞吐分摊流量。
3. 表格式 (Apache Iceberg)：将"一堆文件"抽象为"单张事务表"
若仅在存储桶中存放海量 Parquet 文件，系统充其量只是一个原始数据沼泽（Data Swamp）。查询引擎若要找一条记录，只能执行全量文件暴力扫描（Full Scan）。
Apache Iceberg 的核心技术使命，是在不可变的对象存储上，用一系列层级自解释的元数据文件，构建出一棵带 ACID 事务特性的快照树（Snapshot Tree）。
#mermaid-svg-Ry3jamTA3HcN7l3g{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-Ry3jamTA3HcN7l3g .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-Ry3jamTA3HcN7l3g .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-Ry3jamTA3HcN7l3g .error-icon{fill:#552222;}#mermaid-svg-Ry3jamTA3HcN7l3g .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-Ry3jamTA3HcN7l3g .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-Ry3jamTA3HcN7l3g .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-Ry3jamTA3HcN7l3g .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-Ry3jamTA3HcN7l3g .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-Ry3jamTA3HcN7l3g .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-Ry3jamTA3HcN7l3g .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-Ry3jamTA3HcN7l3g .marker{fill:#333333;stroke:#333333;}#mermaid-svg-Ry3jamTA3HcN7l3g .marker.cross{stroke:#333333;}#mermaid-svg-Ry3jamTA3HcN7l3g svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-Ry3jamTA3HcN7l3g p{margin:0;}#mermaid-svg-Ry3jamTA3HcN7l3g .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-Ry3jamTA3HcN7l3g .cluster-label text{fill:#333;}#mermaid-svg-Ry3jamTA3HcN7l3g .cluster-label span{color:#333;}#mermaid-svg-Ry3jamTA3HcN7l3g .cluster-label span p{background-color:transparent;}#mermaid-svg-Ry3jamTA3HcN7l3g .label text,#mermaid-svg-Ry3jamTA3HcN7l3g span{fill:#333;color:#333;}#mermaid-svg-Ry3jamTA3HcN7l3g .node rect,#mermaid-svg-Ry3jamTA3HcN7l3g .node circle,#mermaid-svg-Ry3jamTA3HcN7l3g .node ellipse,#mermaid-svg-Ry3jamTA3HcN7l3g .node polygon,#mermaid-svg-Ry3jamTA3HcN7l3g .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-Ry3jamTA3HcN7l3g .rough-node .label text,#mermaid-svg-Ry3jamTA3HcN7l3g .node .label text,#mermaid-svg-Ry3jamTA3HcN7l3g .image-shape .label,#mermaid-svg-Ry3jamTA3HcN7l3g .icon-shape .label{text-anchor:middle;}#mermaid-svg-Ry3jamTA3HcN7l3g .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-Ry3jamTA3HcN7l3g .rough-node .label,#mermaid-svg-Ry3jamTA3HcN7l3g .node .label,#mermaid-svg-Ry3jamTA3HcN7l3g .image-shape .label,#mermaid-svg-Ry3jamTA3HcN7l3g .icon-shape .label{text-align:center;}#mermaid-svg-Ry3jamTA3HcN7l3g .node.clickable{cursor:pointer;}#mermaid-svg-Ry3jamTA3HcN7l3g .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-Ry3jamTA3HcN7l3g .arrowheadPath{fill:#333333;}#mermaid-svg-Ry3jamTA3HcN7l3g .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-Ry3jamTA3HcN7l3g .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-Ry3jamTA3HcN7l3g .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-Ry3jamTA3HcN7l3g .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-Ry3jamTA3HcN7l3g .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-Ry3jamTA3HcN7l3g .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-Ry3jamTA3HcN7l3g .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-Ry3jamTA3HcN7l3g .cluster text{fill:#333;}#mermaid-svg-Ry3jamTA3HcN7l3g .cluster span{color:#333;}#mermaid-svg-Ry3jamTA3HcN7l3g div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-Ry3jamTA3HcN7l3g .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-Ry3jamTA3HcN7l3g rect.text{fill:none;stroke-width:0;}#mermaid-svg-Ry3jamTA3HcN7l3g .icon-shape,#mermaid-svg-Ry3jamTA3HcN7l3g .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-Ry3jamTA3HcN7l3g .icon-shape p,#mermaid-svg-Ry3jamTA3HcN7l3g .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-Ry3jamTA3HcN7l3g .icon-shape .label rect,#mermaid-svg-Ry3jamTA3HcN7l3g .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-Ry3jamTA3HcN7l3g .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-Ry3jamTA3HcN7l3g .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-Ry3jamTA3HcN7l3g :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 数据层_Data_Layer
元数据层_Metadata_Layer
指向最新当前根元数据
记录当前 Snapshot ID
历史快照回溯
Manifest List
记录列统计值: min/max/null
记录列统计值: min/max/null
记录列统计值: min/max/null
Iceberg Catalog (JDBC / Hive / REST)
v2.metadata.json (Table Metadata)
Snapshot S2 (Committed)
Snapshot S1 (Time Travel)
snap-S2.avro (Manifest List)
manifest-1.avro
manifest-2.avro
00001.parquet
00002.parquet
00003.parquet
3.1 物理层级解析
- Catalog (目录层) ：
仅维护一个轻量原子指针，记录该表当前最新有效的元数据文件物理地址（如s3://bucket/metadata/v2.metadata.json）。在更新快照时，Catalog 执行类似比较并交换（Compare-And-Swap · CAS）的原子操作； - Table Metadata (
vN.metadata.json) ：
表的总蓝图，记录字段 Schema 定义、分区规则（Partition Spec）、排序规则，以及按时间递增的历史快照（Snapshot）列表； - Manifest List (
snap-*.avro) ：
单次快照提交的直接入口文件，记录了当前快照所包含的所有 Manifest 文件的物理路径，以及各个 Manifest 所涵盖的分区范围； - Manifest File (
*.avro) ：
最底层的元数据清单，逐一记录每个具体 Parquet 数据文件的物理路径、文件大小、行数，以及各列的关键统计指标（下界 Minimum、上界 Maximum、空值数量 Null Count）。
3.2 事务与隔离机制的本质
传统数据库依赖锁管理器实现隔离级别。Iceberg 则通过**写时快照隔离（Snapshot Isolation via Copy-on-Write / Merge-on-Read）**完全消除了读写锁冲突：
- 读操作 ：任何查询引擎在开始时绑定特定的 Snapshot ID，后续读取全程基于该不可变快照树进行，读操作永不阻塞写操作；
- 写操作 ：并发任务在独立的内存或工作区中写入新 Parquet 文件，并生成新的 Manifest，只有在完成全量写入后，才向 Catalog 发起元数据原子替换请求。提交成功后，快照自增至
S(N+1)；若发生冲突，则自动执行乐观并发控制（OCC）重试。 - 审计回溯（Time Travel） ：由于历史快照及底层的 Parquet 文件在提交后未被立刻物理物理删除，查询引擎只需声明
FOR TIMESTAMP AS OF或FOR VERSION AS OF，即可直接调阅表在任意历史毫秒时刻的完整状态。
4. 计算引擎 (Trino)：纯内存大规模并行流式查询
Trino（原 PrestoSQL）本身是一个无存储的、纯无状态（Stateless）的分布式计算引擎。
Cloudflare R2 (Parquet 数据) Trino Workers (内存计算集群) Iceberg Metadata (R2) Trino Coordinator (大脑) Cloudflare R2 (Parquet 数据) Trino Workers (内存计算集群) Iceberg Metadata (R2) Trino Coordinator (大脑) #mermaid-svg-NFhNYNRRgS5rVU8D{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-NFhNYNRRgS5rVU8D .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-NFhNYNRRgS5rVU8D .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-NFhNYNRRgS5rVU8D .error-icon{fill:#552222;}#mermaid-svg-NFhNYNRRgS5rVU8D .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-NFhNYNRRgS5rVU8D .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-NFhNYNRRgS5rVU8D .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-NFhNYNRRgS5rVU8D .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-NFhNYNRRgS5rVU8D .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-NFhNYNRRgS5rVU8D .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-NFhNYNRRgS5rVU8D .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-NFhNYNRRgS5rVU8D .marker{fill:#333333;stroke:#333333;}#mermaid-svg-NFhNYNRRgS5rVU8D .marker.cross{stroke:#333333;}#mermaid-svg-NFhNYNRRgS5rVU8D svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-NFhNYNRRgS5rVU8D p{margin:0;}#mermaid-svg-NFhNYNRRgS5rVU8D .actor{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;}#mermaid-svg-NFhNYNRRgS5rVU8D text.actor>tspan{fill:black;stroke:none;}#mermaid-svg-NFhNYNRRgS5rVU8D .actor-line{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);}#mermaid-svg-NFhNYNRRgS5rVU8D .innerArc{stroke-width:1.5;stroke-dasharray:none;}#mermaid-svg-NFhNYNRRgS5rVU8D .messageLine0{stroke-width:1.5;stroke-dasharray:none;stroke:#333;}#mermaid-svg-NFhNYNRRgS5rVU8D .messageLine1{stroke-width:1.5;stroke-dasharray:2,2;stroke:#333;}#mermaid-svg-NFhNYNRRgS5rVU8D #arrowhead path{fill:#333;stroke:#333;}#mermaid-svg-NFhNYNRRgS5rVU8D .sequenceNumber{fill:white;}#mermaid-svg-NFhNYNRRgS5rVU8D #sequencenumber{fill:#333;}#mermaid-svg-NFhNYNRRgS5rVU8D #crosshead path{fill:#333;stroke:#333;}#mermaid-svg-NFhNYNRRgS5rVU8D .messageText{fill:#333;stroke:none;}#mermaid-svg-NFhNYNRRgS5rVU8D .labelBox{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;}#mermaid-svg-NFhNYNRRgS5rVU8D .labelText,#mermaid-svg-NFhNYNRRgS5rVU8D .labelText>tspan{fill:black;stroke:none;}#mermaid-svg-NFhNYNRRgS5rVU8D .loopText,#mermaid-svg-NFhNYNRRgS5rVU8D .loopText>tspan{fill:black;stroke:none;}#mermaid-svg-NFhNYNRRgS5rVU8D .loopLine{stroke-width:2px;stroke-dasharray:2,2;stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);}#mermaid-svg-NFhNYNRRgS5rVU8D .note{stroke:#aaaa33;fill:#fff5ad;}#mermaid-svg-NFhNYNRRgS5rVU8D .noteText,#mermaid-svg-NFhNYNRRgS5rVU8D .noteText>tspan{fill:black;stroke:none;}#mermaid-svg-NFhNYNRRgS5rVU8D .activation0{fill:#f4f4f4;stroke:#666;}#mermaid-svg-NFhNYNRRgS5rVU8D .activation1{fill:#f4f4f4;stroke:#666;}#mermaid-svg-NFhNYNRRgS5rVU8D .activation2{fill:#f4f4f4;stroke:#666;}#mermaid-svg-NFhNYNRRgS5rVU8D .actorPopupMenu{position:absolute;}#mermaid-svg-NFhNYNRRgS5rVU8D .actorPopupMenuPanel{position:absolute;fill:#ECECFF;box-shadow:0px 8px 16px 0px rgba(0,0,0,0.2);filter:drop-shadow(3px 5px 2px rgb(0 0 0 / 0.4));}#mermaid-svg-NFhNYNRRgS5rVU8D .actor-man line{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;}#mermaid-svg-NFhNYNRRgS5rVU8D .actor-man circle,#mermaid-svg-NFhNYNRRgS5rVU8D line{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;stroke-width:2px;}#mermaid-svg-NFhNYNRRgS5rVU8D :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 元数据剪枝 (Metadata Pruning):比对 Min/Max 统计值，剔除 95% 不相关文件 parWorkers 并发流式拉取 客户端 / SQL Client 提交 SQL (如: SELECT * FROM raw_sms_records WHERE received_at >= ...)11. 读取 vN.metadata.json 与 Manifest Avro22. 将命中文件的扫描任务拆分为 Splits 派发给 Workers33. 并行拉取命中 Parquet 文件的特定列 (Columnar Projection)44. 纯内存向量化解压、计算、哈希聚合55. 跨节点内存分页管道，毫秒级流式返回结果6 客户端 / SQL Client
4.1 查询性能为什么能达到毫秒级？
很多开发者直觉认为"从远程对象存储读文件一定很慢"，但 Trino + Iceberg 的协同优化打破了这一限制：
- 元数据层极端剪枝（Metadata Pruning & File Skipping） ：
Trino Coordinator 在 SQL 解析与计划生成阶段，直接读取轻量的 Avro Manifest 文件。若 SQL 带有过滤条件（如WHERE imap_uid > 1000），Coordinator 比对 Manifest 里的min(imap_uid)和max(imap_uid)，即可在不与任何 Parquet 数据文件发生网络 I/O 的前提下，直接在内存中剔除 90% 以上的不相关文件； - 列裁剪与行组跳过（Column Projection & RowGroup Skipping） ：
进入 Worker 计算阶段后，Trino 仅根据 SQL 所选取的列名（如仅选了msg_uid,sender），向对象存储发起 HTTP 范围分段请求（HTTP Range Request），只拉取 Parquet 文件末尾的 Footer 元数据和对应列的数据页，避免全宽表网络传输； - 纯内存无落盘流式架构（In-Memory Streaming Pipelining） ：
Trino 与 Spark 阶段落盘（Shuffle Spill）机制不同，各执行节点之间通过 TCP 内存队列流式传递数据包，数据边读取边在 CPU 缓存中向量化运算（Vectorized Execution），从计算到网络吐出全链路无二次磁盘写入。
5. 总结与架构全景映射
在传统的数据库思维中，性能与事务通常被视作存储引擎的"内置黑盒特性"。
通过拆解现代 Lakehouse，可以看到一套职责极其清晰的工业化分工：
- Cloudflare R2 (Bucket) ：充当容量近乎无限、按需计费的物理字节仓库，解决"持久存储与网络分发"问题；
- Apache Iceberg (Table Format) ：充当表的逻辑骨架与事务账本，用 Avro 元数据树规范"什么是表、怎么切分事务、怎样做快照隔离"；
- Apache Trino (Query Engine) ：充当纯粹的高效算力中枢，利用分布式内存流水线专职解决"如何以最优成本把 SQL 转换为并行网络流并快速计算出结果"。
这种"三权分立"的模块化架构，使得系统既具备了传统关系型数据库一致严密的 ACID 事务边界与标准 ANSI SQL 交互界面，又摆脱了专有磁盘与常驻主机的物理掣肘，达成了存储成本、弹性扩容与开放生态之间的平衡。