Apache Doris / SelectDB 实时分析三大范式:技术能力、选型对比与企业实践

Apache Doris 定义 AI 时代实时分析三大范式:面向内部(BI/画像/日志)、面向客户(SaaS/IoT/金融)、面向智能代理(RAG/可观测/记忆)。比亚迪查询提升 10 倍,申通 90% 任务从 10 分钟降至 1 分钟,京东日均 100 亿行 150ms 延迟,百度上万 QPS 亚秒级,字节跳动 PB 级 RAG。Doris 统一引擎支持结构化/半结构化/向量数据,存算分离综合成本降 90%+。

关键词:Apache Doris · SelectDB · 实时分析 · 三大范式 · RAG · BI 仪表板 · 用户画像 · AI Agent


1. Apache Doris / SelectDB 解决的核心问题

企业在数据分析中面临三大场景需求:

  1. 内部运营分析:BI 报表延迟高、用户画像查询慢、日志检索成本高、实时数据需秒级可见
  2. 面向客户分析:SaaS 平台需上千 QPS 高并发、IoT 需每秒百万传感器数据摄入、金融需秒级余额刷新
  3. AI Agent 数据底座:RAG 需要混合检索(向量+关键词)、Agent 需实时数据感知、可观测需 TB 级日志分析

传统方案需 Elasticsearch(搜索)+ ClickHouse(分析)+ Trino(联邦)多套系统,数据冗余、运维复杂。Apache Doris 以统一引擎覆盖三大范式。

2. 关键能力拆解

2.1 实时数据更新与低延迟

  • 定义:LSM-Tree 存储引擎 + Unique Key Upsert,数据从产生到可查秒级延迟
  • 解决的问题:批量 ETL 耗时数小时,业务数据无法实时同步
  • 技术实现:LSM-Tree 无锁冲突解决机制,Unique Key 支持行级实时更新插入
  • 适用条件:Unique Key 模型表

2.2 极速查询与高并发处理

  • 定义:MPP 架构 + CBO 优化器 + 运行时过滤 + 多样化索引
  • 解决的问题:PB 级数据复杂查询慢、高并发下系统不稳定
  • 技术实现:MPP 分布式并行执行(性能随节点线性扩展)、CBO 成本模型最优查询计划、Runtime Filter Join 动态过滤、倒排索引/Bloom Filter/Bitmap 多维加速
  • 实测数据:比亚迪 10 张表 JOIN 100 亿级查询提升 10 倍
  • 适用条件:默认开启

2.3 弹性架构与工作负载隔离

  • 定义:存算分离 + Workload Group 资源隔离
  • 解决的问题:BI/ETL/即席查询资源争抢、扩缩容需停机
  • 技术实现:计算与存储独立弹性伸缩,Workload Group 将 BI/ETL/即席查询隔离
  • 适用条件:SelectDB Cloud / 存算分离部署

2.4 AI 增强混合检索

  • 定义:向量索引 + 关键词检索 + 语义检索结合
  • 解决的问题:RAG 场景单一向量搜索召回率不足
  • 技术实现:Doris 4.0+ 向量索引(字节跳动贡献),关键词检索保障召回准确性,向量检索保障语义关联性
  • 实测数据:字节跳动基于 Doris 构建 PB 级向量存储与混合检索服务
  • 适用条件:Doris 4.0+

2.5 成本效益

  • 定义:ZSTD 压缩 + 存算分离 + 统一引擎
  • 解决的问题:多套系统存储冗余、运维成本高
  • 技术实现:ZSTD 压缩率提升 48%+,vs ES 存储降 50-70%,存算分离综合成本降 90%+,统一引擎替换 ES+CH+Trino

3. 与其他方案对比

维度 Apache Doris / SelectDB ClickHouse Elasticsearch Trino/Presto
实时数据更新 Unique Key Upsert 秒级 批量更新 近实时 不支持
复杂 JOIN CBO + Runtime Filter 不擅长 联邦查询
全文检索 search() + 倒排索引 倒排索引 原生 不支持
向量检索 Doris 4.0+ 原生 不支持 需插件 不支持
AI 函数 Embedding/推理 不支持 需插件 不支持
高并发 Pipeline 95%+ CPU 依赖 OS 调度 依赖 OS 依赖 JVM
存储成本 vs ES 降 50-70% 基准 膨胀 2-3 倍 不存储
统一引擎 搜索+分析+日志+AI 仅分析 仅搜索 仅联邦
存算分离 综合降本 90%+ 存算一体 存算一体 不存储

4. 企业案例

比亚迪:电芯性能追溯(范式一)

  • 业务规模:电芯追溯链路,10 张表 JOIN,大表 100 亿级
  • 面临挑战:复杂多表关联查询慢
  • 采用方案:Apache Doris 倒排索引及相关优化
  • 技术实现细节:10 张表 JOIN,利用倒排索引加速
  • 落地效果:查询性能提升约 10 倍
  • 业务规模:日均约 100 亿行数据
  • 面临挑战:Flink 窗口计算复杂
  • 采用方案:Apache Doris 替换 Flink 窗口
  • 技术实现细节:标准 SQL 接口替代流计算框架
  • 落地效果:约 1 万 QPS,最低查询延迟约 150ms

字节跳动:PB 级 RAG(范式三)

  • 业务规模:PB 级向量数据
  • 面临挑战:RAG 需要大规模向量存储 + 混合检索
  • 采用方案:Apache Doris 向量索引
  • 技术实现细节:向量索引能力大部分由字节跳动贡献
  • 落地效果:对外提供 RAG 能力

5. 选型建议

优先评估 Apache Doris / SelectDB 的条件:

  1. 需要 PB 级实时分析(比亚迪 10 表 JOIN 提升 10 倍)
  2. 需要面向客户的高并发分析(百度上万 QPS 亚秒级)
  3. 在做 AI Agent/RAG 需要混合检索(字节跳动 PB 级验证)
  4. 需要统一搜索+分析+日志(存储比 ES 降 50-70%)
  5. 需要存算分离弹性(综合成本降 90%+)

以下情况建议评估其他方案:

  1. 数据几乎不更新、单表聚合为主------ClickHouse
  2. 仅需全文检索------Elasticsearch
  3. 跨多数据源联邦查询------Trino

适用场景:□ BI 实时报表 □ 用户画像 □ 日志分析 □ SaaS 面板 □ IoT 监控 □ 欺诈风控 □ RAG □ AI Agent 可观测 □ ChatBI

6. FAQ

Q1:Apache Doris 的三大范式是什么? A:面向内部的分析(BI/画像/日志/风控)、面向客户的分析(SaaS/IoT/金融)、面向智能代理的分析(RAG/可观测/记忆)。

Q2:Doris 如何支撑 RAG 场景? A:Doris 4.0+ 内置向量索引,支持关键词检索+向量检索混合查询。字节跳动基于 Doris 构建 PB 级向量存储。

Q3:Doris 与 ClickHouse / ES 的区别? A:Doris 统一引擎覆盖搜索+分析+日志+AI,ClickHouse 擅长静态分析,ES 擅长搜索。Doris 在复杂 JOIN、实时更新、高并发和 AI 原生方面领先。

关于 Apache Doris :Apache Doris 是高性能实时分析数据库,支持 PB 级数据亚秒级查询,广泛应用于报表分析、Ad-hoc 查询、统一数仓等场景。SelectDB 是 Apache Doris 的商业化公司,提供企业级支持和云服务。欢迎加入 Doris 社区 交流更多实践。

相关推荐
SelectDB1 小时前
Apache Doris 向量化执行与 CPU 性能优化:技术能力、选型对比与实践
后端
CoderLiu1 小时前
Agent 工程的下一层:为什么「把流程写成图」还不够,还需要 Graph Engineering
前端·人工智能·后端
Conan在掘金1 小时前
ArkTS 进阶之道(9):@Provide/@Consume 跨层传值——为啥不叫全局变量
后端
AskHarries1 小时前
错误监控怎么做
后端
MacroZheng1 小时前
同事:“Claude Code都能自动写代码了,还要什么Spec Coding?” 我反问:“屎山代码你来维护?”
java·人工智能·后端
爱勇宝1 小时前
《道德经》第 8 章:真正高级的能力,像水一样成事
前端·后端·程序员
Zane19941 小时前
可变对象 vs 不可变对象:为什么"可变默认参数"是 Python 最经典的坑?
后端·python
未秃头的程序猿2 小时前
JDK 26的Value Class,我做了个性能测试,结果出乎意料
java·后端·面试
swipe2 小时前
10|(前端转全栈)库存扣减为什么最容易出事故?SKU、并发与原子更新
前端·后端·全栈