当业务场景需要一个大批量、快速的、可支持聚合运算的数据库,那么可选择ClickHouse。
选择ClickHouse 的原因:
- 记录类型类似于LOG,读取、运算远远大于写入操作
- 选取有限列,对近千万条数据,快算的运算出结果。
- 数据批量从ODPS表中同步,数据一致性容忍度高
- 支持复杂数据结构,例如Array,方便查询
- 数据成本越少越好
简单的Mysql、ClickHouse 性能对比:
ClickHouse的优点
1、只需要读取要计算的列数据,而非行式的整行数据读取,降低 IO cost。
2、同列同类型,有十倍压缩提升,进一步降低 IO。
3、Clickhouse 根据不同存储场景,做个性化搜索算法。
ClickHouse 的缺点
- 不支持事物
- 不支持Update/Delete操作
- 支持有限操作系统(不支持win,PS:并不是大问题)
ClickHouse特点
- 真正的面向列的DBMS
- 数据高效压缩
- 磁盘存储的数据
- 多核并行处理
- 在多个服务器上分布式处理
- 支持SQL语法
- 向量化引擎
- 实时数据更新
- 支持索引
- 支持近似预估计算
- 支持嵌套的数据结构
- 支持数组作为数据类型
- 支持限制查询复杂性以及配额
- 复制数据复制和对数据完整性的支持