OLAP 分析引擎:StarRocks、Doris、ES、ClickHouse,存算分离、列式存储 Parquet

OLTP = 小卖部收银台,一笔一笔下单、改库存,要快; OLAP = 后台统计办公室,拿海量历史数据算报表、做分析,读多写少。 列式存储 Parquet = 分类收纳盒;存算分离 = 储物柜和计算工人拆开部署,可以单独扩容。

:OLTP vs OLAP、StarRocks vs Doris、ES vs ClickHouse、Parquet 列式存储、存算分离

1. OLTP vs OLAP 对比

OLTP(联机事务处理):线下门店收银,用户下单、改数据、支付,单条操作,要及时生效 ,MySQL/PostgreSQL 就是这类。 OLAP(联机分析处理):月底拉所有订单,统计销量、用户画像,一次性扫描海量数据做聚合分析,Doris、StarRocks、ClickHouse 属于这类。

文字流程图

markdown 复制代码
OLTP(MySQL)
用户 → 单条增删改查
特点:随机读写、事务、低延迟、数据量不大

OLAP(Doris/StarRocks)
定时导入大量数据
        ↓
多维度聚合、分组统计、报表
特点:批量写入、海量扫描、读多写少

对比表

表格

OLTP OLAP
场景 业务下单、支付、库存 报表、多维分析、大屏
操作 单条 insert/update/delete 批量导入、大量 select 聚合
存储 行式存储为主 列式存储
代表 MySQL、PostgreSQL Doris、StarRocks、ClickHouse

结果说明

OLTP 优先保证事务、单行低延迟;OLAP 优先保证大数据量聚合查询速度,对实时更新支持弱。

2. StarRocks vs Doris

两者是双胞胎,都是国产 OLAP,主打实时数仓,支持秒级报表。 Doris 起步更早,生态成熟;StarRocks 迭代更快,向量化、实时性能更强。

文字流程示意(两者架构思路接近)

markdown 复制代码
数据来源:MySQL binlog / Kafka / 离线文件
        ↓
导入到OLAP引擎
        ↓
前端FE负责接收SQL、解析、调度
        ↓
后端BE负责数据存储、计算
        ↓
返回聚合结果给报表平台

核心区别

  • Apache Doris:社区久、稳定,文档完善,公司存量多,存算一体 / 存算分离版本都有
  • StarRocks:向量化引擎做的更好,实时导入、大表多表 Join 性能更强,版本更新快

结果说明

两者场景高度重合:实时大屏、多维报表、用户画像; 简单记:追求稳定选 Doris,追求实时和 Join 性能选 StarRocks

3. Elasticsearch vs ClickHouse

ES = 搜索引擎字典,适合模糊检索、全文检索、按标签过滤 ; ClickHouse = 超级计算器,适合海量数据求和、分组、聚合统计。

文字流程图

bash 复制代码
ES流程:
文档写入 → 倒排索引
        ↓
查询:全文检索、模糊匹配、过滤标签

ClickHouse流程:
批量写入列式数据
        ↓
SQL聚合、sum/count/group by,海量数据统计

连接方式 & 适用场景

  • Elasticsearch:Restful API、Java HighLevelClient;适合日志检索、全文搜索、标签筛选
  • ClickHouse:JDBC、HTTP;适合超大单表聚合、离线统计,Join 弱

结果说明

✅ ES 强项:全文检索、模糊查询;不适合超大表求和统计 ✅ ClickHouse 强项:列式聚合,统计速度极快;不适合全文模糊检索

4. Parquet 文件格式(列式存储)

行式:一整条记录打包(id,name,age,city),查 age 要把整条全部读出 列式:把所有 age 单独放一个盒子,name 放另一个盒子;只统计年龄,只打开 age 盒子,其他列不读。

文字对比

ini 复制代码
行式存储
1,张三,18,贵阳
2,李四,20,北京

列式存储
id:[1,2]
name:[张三,李四]
age:[18,20]
city:[贵阳,北京]

结果说明

✅ 优点:压缩率高、查询只扫描需要的列、OLAP 引擎通用(Spark/Doris/StarRocks/ClickHouse 都支持) ❌ 缺点:单行修改麻烦,不适合频繁更新业务 适合:离线数仓、HDFS、对象存储上面的分层数据

5. 存算分离(OLAP 数仓)

储物柜(存储:S3/HDFS)单独放数据;计算工人(BE / 计算节点)单独一批机器。 数据不在计算本地磁盘,计算节点需要的时候,从远端存储拉取数据。

和数据库读写分离区分:读写分离是主从都属于数据库,分担读压力;存算分离是存储、计算两套独立集群。

文字流程图

markdown 复制代码
客户端提交SQL
    ↓
FE调度
    ↓
计算节点BE
    ↓ 拉取数据
远端存储:HDFS / 对象存储S3
    ↓
计算完成,返回结果

结果说明

✅ 优点:存储和计算独立扩容;计算节点用完可以缩掉,节省成本;数据多副本在远端,不容易丢 ❌ 缺点:多一层网络开销,查询延迟略高于存算一体 适合:数据量巨大、存储成本敏感、数据冷温分层的数仓场景


总结

  1. OLTP:业务事务,行式;OLAP:分析报表,列式
  2. Doris、StarRocks:国产实时 OLAP,Doris 稳,StarRocks 实时 Join 强
  3. ES:倒排索引,全文检索;ClickHouse:列式,海量聚合统计
  4. Parquet 列式文件,压缩好、OLAP 通用,不适合单行更新
  5. 存算分离:存储和计算解耦,弹性扩容,适合大数据数仓
相关推荐
旋律41417 分钟前
序列化与反序列化
后端
TSuperman2 小时前
一次由高危漏洞引发的 Nginx 1.30.7 跨发行版安全升级实战
后端
静水深码2 小时前
文生图提示词的工程师写法:把玄学话术拆成结构化模板
人工智能·后端·代码规范
码云社区3 小时前
Spring Boot智慧物业系统源码:合同到期提醒、续签资料与资产协作
java·spring boot·后端·物业管理·物业系统·智慧物业
旋律4144 小时前
数据倾斜
后端
泡海椒4 小时前
jquick-pdf 热力图实战:Object 数组三元素的数据契约与模板还原
后端
行百里er4 小时前
【Spring Insight 技术分享】如何给 AI 接口调用做滑动窗口限流
spring boot·后端·spring cloud
贾公子4 小时前
异步检测的轮询与超时——别把「还没好」当成「失败了」
后端·python
im_AMBER5 小时前
CDC 对账:数据同步之后,如何验证源库与目标库一致
后端·mysql·面试