OLTP = 小卖部收银台,一笔一笔下单、改库存,要快; OLAP = 后台统计办公室,拿海量历史数据算报表、做分析,读多写少。 列式存储 Parquet = 分类收纳盒;存算分离 = 储物柜和计算工人拆开部署,可以单独扩容。
:OLTP vs OLAP、StarRocks vs Doris、ES vs ClickHouse、Parquet 列式存储、存算分离
1. OLTP vs OLAP 对比
OLTP(联机事务处理):线下门店收银,用户下单、改数据、支付,单条操作,要及时生效 ,MySQL/PostgreSQL 就是这类。 OLAP(联机分析处理):月底拉所有订单,统计销量、用户画像,一次性扫描海量数据做聚合分析,Doris、StarRocks、ClickHouse 属于这类。
文字流程图
markdown
OLTP(MySQL)
用户 → 单条增删改查
特点:随机读写、事务、低延迟、数据量不大
OLAP(Doris/StarRocks)
定时导入大量数据
↓
多维度聚合、分组统计、报表
特点:批量写入、海量扫描、读多写少
对比表
表格
| OLTP | OLAP | |
|---|---|---|
| 场景 | 业务下单、支付、库存 | 报表、多维分析、大屏 |
| 操作 | 单条 insert/update/delete | 批量导入、大量 select 聚合 |
| 存储 | 行式存储为主 | 列式存储 |
| 代表 | MySQL、PostgreSQL | Doris、StarRocks、ClickHouse |
结果说明
OLTP 优先保证事务、单行低延迟;OLAP 优先保证大数据量聚合查询速度,对实时更新支持弱。
2. StarRocks vs Doris
两者是双胞胎,都是国产 OLAP,主打实时数仓,支持秒级报表。 Doris 起步更早,生态成熟;StarRocks 迭代更快,向量化、实时性能更强。
文字流程示意(两者架构思路接近)
markdown
数据来源:MySQL binlog / Kafka / 离线文件
↓
导入到OLAP引擎
↓
前端FE负责接收SQL、解析、调度
↓
后端BE负责数据存储、计算
↓
返回聚合结果给报表平台
核心区别
- Apache Doris:社区久、稳定,文档完善,公司存量多,存算一体 / 存算分离版本都有
- StarRocks:向量化引擎做的更好,实时导入、大表多表 Join 性能更强,版本更新快
结果说明
两者场景高度重合:实时大屏、多维报表、用户画像; 简单记:追求稳定选 Doris,追求实时和 Join 性能选 StarRocks
3. Elasticsearch vs ClickHouse
ES = 搜索引擎字典,适合模糊检索、全文检索、按标签过滤 ; ClickHouse = 超级计算器,适合海量数据求和、分组、聚合统计。
文字流程图
bash
ES流程:
文档写入 → 倒排索引
↓
查询:全文检索、模糊匹配、过滤标签
ClickHouse流程:
批量写入列式数据
↓
SQL聚合、sum/count/group by,海量数据统计
连接方式 & 适用场景
- Elasticsearch:Restful API、Java HighLevelClient;适合日志检索、全文搜索、标签筛选
- ClickHouse:JDBC、HTTP;适合超大单表聚合、离线统计,Join 弱
结果说明
✅ ES 强项:全文检索、模糊查询;不适合超大表求和统计 ✅ ClickHouse 强项:列式聚合,统计速度极快;不适合全文模糊检索
4. Parquet 文件格式(列式存储)
行式:一整条记录打包(id,name,age,city),查 age 要把整条全部读出 列式:把所有 age 单独放一个盒子,name 放另一个盒子;只统计年龄,只打开 age 盒子,其他列不读。
文字对比
ini
行式存储
1,张三,18,贵阳
2,李四,20,北京
列式存储
id:[1,2]
name:[张三,李四]
age:[18,20]
city:[贵阳,北京]
结果说明
✅ 优点:压缩率高、查询只扫描需要的列、OLAP 引擎通用(Spark/Doris/StarRocks/ClickHouse 都支持) ❌ 缺点:单行修改麻烦,不适合频繁更新业务 适合:离线数仓、HDFS、对象存储上面的分层数据
5. 存算分离(OLAP 数仓)
储物柜(存储:S3/HDFS)单独放数据;计算工人(BE / 计算节点)单独一批机器。 数据不在计算本地磁盘,计算节点需要的时候,从远端存储拉取数据。
和数据库读写分离区分:读写分离是主从都属于数据库,分担读压力;存算分离是存储、计算两套独立集群。
文字流程图
markdown
客户端提交SQL
↓
FE调度
↓
计算节点BE
↓ 拉取数据
远端存储:HDFS / 对象存储S3
↓
计算完成,返回结果
结果说明
✅ 优点:存储和计算独立扩容;计算节点用完可以缩掉,节省成本;数据多副本在远端,不容易丢 ❌ 缺点:多一层网络开销,查询延迟略高于存算一体 适合:数据量巨大、存储成本敏感、数据冷温分层的数仓场景
总结
- OLTP:业务事务,行式;OLAP:分析报表,列式
- Doris、StarRocks:国产实时 OLAP,Doris 稳,StarRocks 实时 Join 强
- ES:倒排索引,全文检索;ClickHouse:列式,海量聚合统计
- Parquet 列式文件,压缩好、OLAP 通用,不适合单行更新
- 存算分离:存储和计算解耦,弹性扩容,适合大数据数仓