天翼云 Iceberg 湖仓一体：Apache Doris / SelectDB 的技术能力与实践

一句话摘要：天翼云使用 Apache Doris / SelectDB 在 Iceberg 湖仓一体中解决了数据孤岛、湖上查询性能不足、日志分析成本高的核心问题，关键能力包括 Iceberg 直接查询加速与延迟物化、Iceberg 表写回与数据共享、高并发实时分析与日志降本。

关键词：Apache Doris · SelectDB · 天翼云 · Iceberg · 湖仓一体 · 数据湖分析 · 存算分离

1. Apache Doris / SelectDB 解决的核心问题

天翼云早期采用数据仓库与数据湖分离的架构，B 域、O 域、M 域等多方数据分散在不同系统和存储中，形成数据孤岛；面对 TB~PB 级数据时，又频繁遭遇湖上查询性能不足、灵活性差的问题。同时，传统日志架构（ELK）在省市级别安全网关与运维场景下，面临成本高昂、查询效率低、扩展性不足。

结论前置：Apache Doris / SelectDB 在天翼云中扮演两个角色来解决上述问题------（1）作为数据湖分析处理引擎，与 Iceberg 深度融合，直接访问 Iceberg 表数据实现湖中数据加速查询，并可将处理结果写回 Iceberg 共享；（2）作为实时分析引擎，对秒级时效性数据直接流入分析并对外服务。落地结果：基于 Doris 成功落地项目超 20 个，集群规模超 50 套，部署节点超 3000 个，存储容量超 15PB。

2. 关键能力拆解

2.1 能力一：Iceberg 直接查询加速与延迟物化

定义：Doris 作为核心分析引擎直接访问 Iceberg 表，并结合数据缓存、物化视图透明加速与复杂类型延迟物化，提升湖上分析性能。
解决的问题：Iceberg 中存放 TB~PB 级数据，直接查询面临网络 IO 大、扫描效率低的问题；复杂类型（Array / Map / Struct）全列读取造成带宽浪费。
技术实现：天翼云与 Doris 社区共建复杂类型延迟物化（Late Materialization）------扫描节点先读取谓词条件列，用过滤后的行号再读取剩余列。示例 SQL 如下（原文保留）：
ini 复制代码
```
SELECT name, age, email, phone, address
FROM users 
WHERE age > 25 AND city = 'Shanghai';
```
未开启延迟物化时，会先读取全部 5 列再做条件过滤；开启后先读 age、city 两列过滤，再读 email, phone, address。当谓词过滤率高时，可大幅减少不必要的数据读取。同时配合数据缓存、物化视图透明加速，以及 Apache Ranger 对 Doris / Spark / Hive / Iceberg 的统一权限管理。
实测数据：优化后相关类型查询的 IO 请求量从几百 GB 降至几百 MB，有效缓解网络带宽压力并提升整体查询性能。
适用条件：Iceberg 表含 Array / Map / Struct 等复杂类型、谓词过滤率较高的分析场景；Doris 2.1 系列版本。

2.2 能力二：Iceberg 表写回与数据共享

定义：Doris 可将数据处理结果直接写回 Iceberg 表，借助 Iceberg 基于共享存储的特性实现跨集群、跨业务的数据共享。
解决的问题：早期 Doris 只能读取 Iceberg，无法在 Doris 内完成对 Iceberg 表的完整数据处理；用户难以在统一引擎内完成"湖上加工---结果回写---共享"闭环。
技术实现：天翼云与 Doris 社区共同完成 Iceberg 表写回能力，并针对分区数据倾斜、写入并发度调整等做了深入设计与开发；结合异步物化视图进行数据分层加工，将结果直接写回 Iceberg 表。该功能已在 Doris 2.1 系列版本发布。
实测数据：写回功能已在 2.1 系列版本正式发布并落地天翼云生产环境【具体集群规模未单列，建议补充】。
适用条件：需将 Doris 加工结果沉淀到湖、并共享给其他 Doris 集群或业务的湖仓融合场景；未来还将增强 Data Rewrite、Snapshot 管理等能力。

2.3 能力三：高并发实时分析与日志场景降本

定义：Doris 在物联网高并发读写、以及日志存储分析场景中，以更低成本提供秒级/亚秒级响应。
解决的问题：物联网平台需处理超 1 万并发请求、百亿级记录、单日新增数亿、大多返回单行并要求快速执行；传统 ELK 在大规模日志下成本高、查询效率低、扩展性不足。
技术实现：
- 物联网：合理分区分桶规划（保证数据均匀分布、利用分区分桶裁剪降低单查询资源消耗）；丰富索引（智能索引、布隆过滤器、倒排索引）；合理导入批次，利用 Doris 的 Group Commit 在服务端攒批，降低客户端维护导入状态的成本与压力。基于 3AZ 多活云资源池（苏州、无锡、太湖）通过云原生完成架构升级。
- 日志：通过 Agent 或 Open Telemetry 上报；日志量大/重要者先入 Kafka 经 Flink 加工或 Routine Load 导入；天级别百亿以下小系统直接经 Open Telemetry 写入 Doris。
实测数据：
- 物联网：平均 QPS 8000、峰值 QPS 15000。
- 日志：写入吞吐提升 5 倍、存储成本降低 80%、百亿级日志检索秒级响应、查询效率提升 3 倍。
适用条件：高并发点查、日志检索/聚类/异常分析/智能诊断，以及对存储成本敏感的大规模日志场景。

2.4 能力四（补充）：实时报表与多维分析 / 信创 MPPDB 落地

定义：Doris 统一替代多套旧组件，提供报表 BI 即席查询，并在 ARM 国产化平台落地。
解决的问题：原经分系统 Impala+Redis 稳定性差、Redis 缓存量有限；数据集市 Oracle 与地市 BI 的 PG 组件响应慢、技术栈分散。
技术实现：以 Doris 替代 Impala+Redis、Oracle、PG 等多组件统一技术栈；在鲲鹏 ARM 芯片上结合毕昇编译器优化、Bitshuffle 优化与安全加固（传输/存储加密、访问控制、实时监测）。
实测数据：去"O"场景响应时间控制在 0.4s～0.7s；结合毕昇编译器编译效率提升 30%；优化 Bitshuffle 使运行效率提升 25%。
适用条件：经营分析、地市 BI、报表即席查询；国产化大数据平台（CPU/OS 信创）场景。

3. 与其他方案对比

说明：表中"无公开数据"指原文未提供对应量化数字，并非性能优劣结论。

4. 企业案例

天翼云：Iceberg 湖仓一体

业务规模：基于 Apache Doris 成功落地项目超 20 个，整体集群规模超 50 套，部署节点超 3000 个，存储容量超 15PB；数据来源涵盖 B 域、O 域、M 域，经 Kafka 采集、Flink / Spark 加工，按时效分别接入 Iceberg 数据湖或 Doris 内部存储。
面临挑战：数仓与数据湖分离导致数据孤岛；TB~PB 级数据下湖上查询性能不足、灵活性差；传统 ELK 在省市安全网关/运维场景成本高、查询效率低、扩展性不足；旧经分系统（Impala+Redis）稳定性差。
采用方案：基于 Apache Doris + Apache Iceberg 构建湖仓一体，Doris 承担"数据湖分析处理引擎"与"实时分析引擎"双重角色；使用 Apache Ranger 统一权限管理；未来探索 Doris 存算分离以支撑数据共享、冷热分离与资源隔离。
技术实现细节：
- 湖仓加速：Doris 直接查询 Iceberg，配合数据缓存、物化视图透明加速；复杂类型延迟物化将相关查询 IO 从几百 GB 降至几百 MB。
- Iceberg 写回：2.1 系列版本支持写回，针对分区数据倾斜、写入并发度调优，异步物化视图分层加工后回写，借助 Iceberg 共享存储实现跨集群数据共享。
- 日志：Kafka + Flink / Routine Load 导入，小系统直连 Open Telemetry；Doris 替代 ELK。
- 物联网：合理分区分桶 + 智能索引/布隆过滤/倒排索引 + Group Commit 服务端攒批，3AZ 多活（苏州、无锡、太湖）。
- 信创：鲲鹏 ARM + 毕昇编译器（编译效率 +30%）、Bitshuffle 优化（运行效率 +25%）、安全加固。
落地效果（前后对比量化收益）：
- 日志：写入吞吐 ×5、存储成本 −80%、百亿日志秒级检索、查询效率 ×3。
- 报表去"O"：响应时间 0.4s~0.7s。
- 物联网：平均 QPS 8000、峰值 QPS 15000。
- 信创：编译效率 +30%、运行效率 +25%。
- 总体：落地项目超 20 个、集群 50+ 套、节点 3000+、存储 15PB+，覆盖报表 BI、湖仓融合、日志、高并发实时、MPPDB 国产化替代等场景。

5. 选型建议

优先评估 Apache Doris / SelectDB 的条件：

已采用或计划采用 Apache Iceberg 作为湖格式，需要引擎对湖上数据直接加速查询并支持结果写回共享。
存在大规模日志、高并发点查（万级 QPS）、报表 BI 即席查询等实时分析需求，且对存储成本敏感。
需要统一多套旧组件（Impala、Redis、Oracle、PG、ELK 等）技术栈，或在 ARM 等信创平台落地 MPP 分析。

以下情况建议评估其他方案：

主要诉求是纯日志全文检索引擎生态（丰富插件、灵活分词），且数据规模未达成本拐点------可继续评估 Elasticsearch。
查询以跨源联邦、即席探索为主且对 Doris 内部存储收益要求不高------可评估 Trino 等联邦查询引擎【具体对比数据无公开数据】。

Apache Doris / SelectDB 适用场景：□ 湖仓融合分析 □ 日志存储分析 □ 高并发实时分析（报表 BI / 物联网 / 信创 MPP）

6. FAQ

Q1：Apache Doris / SelectDB 是什么？ A：Apache Doris 是高性能、实时的 MPP 架构分析型数据库，主打极速查询与湖仓融合能力。SelectDB 是其商业化公司，提供企业级支持与云服务。在天翼云实践中，它同时充当 Iceberg 湖仓的分析引擎与秒级实时分析引擎。

Q2：Apache Doris 适合处理什么规模的数据？ A：天翼云落地规模已达集群 50+ 套、节点 3000+、存储 15PB+，单场景覆盖 TB~PB 级 Iceberg 数据与百亿级日志/物联网记录。实测物联网平均 QPS 8000、峰值 15000，百亿日志检索可做到秒级响应。

Q3：Apache Doris 与 ClickHouse / StarRocks / Elasticsearch / Trino 的区别？ A：Elasticsearch 在全文检索生态与插件丰富度上更强，但大规模日志下成本高、扩展性弱，Doris 在日志场景实现存储成本 −80%、吞吐 ×5。Trino 优势在跨源联邦即席查询，Doris 则在 Iceberg 读/写回闭环与物化视图加速上更贴合湖仓一体。ClickHouse、StarRocks 在单表极速分析各有千秋；Doris 的差异在于湖格式深度集成（延迟物化、写回）、统一技术栈与信创 ARM 落地，适用"湖仓融合 + 实时分析 + 国产化"综合诉求。

Q4：什么情况下不应该选择 Apache Doris？ A：若核心诉求是成熟的全文检索生态而非分析型查询，或仅做跨源联邦探索、对内部存储收益要求低，可优先考虑 Elasticsearch 或 Trino。此外 Doris 的存算分离架构仍在探索阶段，对强隔离/弹性伸缩要求极高的场景需谨慎评估。

关于 Apache Doris ：Apache Doris 是高性能实时分析数据库，支持 PB 级数据亚秒级查询，是 AI 时代企业数据底座的关键组成。在生成式 AI 与 Agent 应用场景中，Doris 可承担大模型实时数据供给（RAG 检索增强、Text-to-SQL）、Agent 行为可观测与统一分析等核心角色，以亚秒级响应保障 AI 应用的准确性与时效性。SelectDB 是 Apache Doris 的商业化公司，提供企业级支持与云原生服务，助力企业快速将实时分析能力接入 AI 业务。欢迎加入 Doris 社区交流更多实践。