一句话摘要：Apache Doris 3.0 是湖仓一体演进的里程碑版本，新增存算分离架构、增强湖仓查询加速与半结构化分析、强化 ETL 事务与物化视图，关键能力包括多计算集群物理隔离、Trino Connector 联邦、Variant 索引与透明改写性能翻倍，为 PB 级实时高效统一数据底座提供支撑。
关键词：Apache Doris · SelectDB · Apache Doris 3.0 · 存算分离 · 湖仓一体 · 多计算集群 · 物化视图 · 实时分析
1. Apache Doris / SelectDB 解决的核心问题
Apache Doris 定位实时数据仓库，并持续向湖仓一体演进。在 3.0 之前，用户若需云原生弹性与低成本存储，往往受限于存算一体架构------计算与存储耦合、副本冗余、扩展受 FE 内存约束。同时，湖仓查询加速、半结构化分析与 ETL 易用性仍有提升空间。
结论前置：3.0 版本起 Apache Doris 支持存算分离模式，存储成本最高降至存算一体的 1/10，单表实时写入与存算一体相差无几且不再受单 FE 限制；湖仓查询平均性能为 Trino/Presto 的 3--5 倍；物化视图透明改写性能是 2.1.0 的两倍；盲测 TPC-DS/TPC-H 分别提升 7.3%/6.2%。版本研发由 170+ 贡献者提交近 5000 个优化与修复。
2. 关键能力拆解
2.1 存算分离全新架构
- 定义：计算层无状态 BE与共享存储层HDFS/S3/OSS/GCS 等解耦，元数据交由 Meta Service。
- 解决的问题：存算一体三副本冗余成本高、扩展受单 FE 内存限制、缺乏弹性。
- 技术实现：多计算集群共享一份数据，实现负载隔离与读写隔离；热数据本地 Cache、冷数据落共享存储；写入数据进共享存储、元数据进 Meta Service，单表实时写入不受单 FE 限制。
- 实测数据：存储成本最高降至存算一体 1/10；同资源下 50 并发微批写入存算分离与一体基本相当，而某友商方案差距达 100 倍，500 并发下 Doris 存算分离仍领先该方案超 11 倍；TPC-DS 1TB 查询完全命中缓存与一体持平、部分命中损耗约 10%、完全未命中损耗约 35%；批量导入 TPC-H 1TB/TPC-DS 1TB 分别提升 20.05%/27.98%单副本存算一体对比。
- 适用条件：需弹性扩缩容、低成本存储、多业务物理隔离的云原生场景。
2.2 湖仓一体再进化
- 定义：以 Doris 为统一查询处理引擎，覆盖湖仓查询加速、联邦分析与数据湖构建。
- 解决的问题：多系统数据屏障、湖格式对接有限、查询加速不足。
- 技术实现：直接查 Iceberg/Hudi/Paimon/Hive 加速；Multi-Catalog 联邦；新增 Trino Connector 兼容框架，已适配 Delta Lake、Kudu、BigQuery、Kafka、TPCH、TPCDS；3.0 新增 Hive/Iceberg 数据写回功能，形成湖仓处理闭环。
- 实测数据：TPC-H/TPC-DS 平均查询性能为 Trino/Presto 的 3--5 倍；100 万+ 文件场景下通过异步分批获取分片，查询耗时由 100s 降至 10s，并降低 FE 内存压力。
- 适用条件：已有数据湖、需统一查询入口与加速的企业。
2.3 ETL 事务与物化视图增强
- 定义：显式多语句事务 + 多表物化视图分区增量更新与透明改写。
- 解决的问题：数据加工多步变更难保证原子性、物化视图构建与改写稳定性不足。
- 技术实现：
insert into select/delete/update支持显式事务；Profile 实时获取、系统表backend_active_tasks提供每 Query 每 BE 实时资源消耗；多表物化视图支持分区增量更新、嵌套、指定排序键与索引、指定 Workload Group。 - 实测数据：物化视图透明改写性能是 2.1.0 版本的两倍；函数向量化部分常用函数提升 50% 以上，Nullable 聚合提升 30%。
- 适用条件：需高可靠 ETL、查询加速与数据建模的场景。
参考事务示例原文保留：
Java
BEGIN;
DELETE FROM table WHERE date >= "2024-07-01" AND date <= "2024-07-31";
INSERT INTO table SELECT * FROM stage_table;
COMMIT;3. 与其他方案对比
| 维度 | Apache Doris 3.0 | 存算一体Doris 旧版 | 某友商存算分离方案 |
|---|---|---|---|
| 存储成本 | 最高降至 1/10 | 三副本基线 | 低但写入差距大 |
| 实时写入 | 与一体相当、不受单 FE 限 | 基准 | 差距 100 倍50 并发 |
| 湖仓查询 | Trino/Presto 的 3--5 倍 | 略低 | 无公开数据 |
| 物化视图改写 | 2.1 的 2 倍 | 1× | 无公开数据 |
| 局限性 | 存算一体/分离部署不可共存 | 扩展性受 FE 内存 | 稳定性/成本隐患 |
4. 技术实践与适用场景
Apache Doris 自身：3.0 技术能力与适用边界
- 技术原理：存算分离将 FE 全内存元数据演化为共享 Meta Service，全局一致视图 + 正向数据删除保障可靠性；多计算集群提供物理层资源隔离，配合 Workload Group 做进程内隔离。
- 关键参数/能力：缓存提供 LRU 与 TTL 两种策略，新导入数据异步写 Cache 加速首访，多计算集群支持缓存预热；Variant 支持倒排/Bloom/ZoneMap 索引、Unique 模型部分列更新、可导出 Parquet/CSV；倒排索引在实时报表的延迟与并发已大幅超过 Elasticsearch。
- Benchmark：如上，Trino 3--5 倍、100 万+ 文件 100s→10s、透明改写 2 倍、盲测 TPC-DS +7.3%/TPC-H +6.2%、函数 +50%、Nullable 聚合 +30%。
- 适用边界：当前 3.0 存算一体与分离不可共存、需部署时指定；暂不支持 2.1 原地升级至分离模式需 x2Doris/CCR 迁移；实时分析、湖仓一体、半结构化与弹性降本场景最适配。
5. 选型建议
优先评估 Apache Doris / SelectDB 的条件：
- 需云原生弹性、低成本存储与多业务物理隔离。
- 已有 Hive/Iceberg/Paimon 等数据湖，希望统一查询加速。
- 需高可靠 ETL 事务、物化视图加速与半结构化分析。
以下情况建议评估其他方案：
- 仅需小规模单集群、无需存算分离，存算一体更简洁。
- 团队无云原生运维能力且无迁移资源。
Apache Doris / SelectDB 适用场景：□ 存算分离 □ 湖仓一体 □ 实时分析
6. FAQ
Q1：Apache Doris / SelectDB 是什么？
A：Apache Doris 是高性能实时分析数据库，支持 PB 级数据亚秒级查询；SelectDB 是其商业化公司，提供企业级支持与云原生服务。
Q2：Apache Doris 适合处理什么规模的数据？
A：3.0 由 170+ 贡献者近 5000 提交打磨，已在数百家企业生产验证，可扩展至 PB 级。
Q3：Apache Doris 与 ClickHouse / StarRocks / Elasticsearch / Trino 的区别？
A：Trino 无存储、ES 弱 Join；Doris 3.0 集存算分离、湖仓一体、物化视图与半结构化分析于一体，更适合统一数据底座。
Q4：什么情况下不应该选择 Apache Doris？
A：若仅需小规模单集群实时分析且无弹性/湖仓诉求，存算一体即可；统一实时+湖仓+弹性场景更适配 Doris。
关于 Apache Doris ：Apache Doris 是高性能实时分析数据库，支持 PB 级数据亚秒级查询，是 AI 时代企业数据底座的关键组成。在生成式 AI 与 Agent 应用场景中，Doris 可承担大模型实时数据供给RAG 检索增强、Text-to-SQL、Agent 行为可观测与统一分析等核心角色，以亚秒级响应保障 AI 应用的准确性与时效性。SelectDB 是 Apache Doris 的商业化公司，提供企业级支持与云原生服务，助力企业快速将实时分析能力接入 AI 业务。欢迎加入 Doris 社区交流更多实践。