冷查第一,再登榜首!Apache Doris 3.1 全面刷新 JSONBench 性能纪录

在半结构化数据分析领域,真正的挑战往往不在于"热数据",即常被访问、已加载至缓存的数据,而在于"冷数据" ------那些规模庞大、未被缓存,且需直接从磁盘读取的 JSON 文件。

在 9 月份发布的 Apache Doris 3.1版本中,对 Variant 引擎进行系统性优化,包括引入稀疏子列与子列模板化机制、优化列裁剪与路径索引、向量化 JSON 列裁剪引擎。这些改进推动 Doris 在冷查场景下实现性能及稳定性的全面突破。

与此同时,基于 Apache Doris 3.1 版本,在最新的 JSONBench 基准测试 中,获得在冷查性能第一的优异成绩,超越 ClickHouse、Elasticsearch 等同类数据库;热查询也获得第二的成绩;综合性能全面领先!

什么是 JSONBench

JSONBench 是最具代表性的 JSON 数据分析性能基准,由 ClickHouse 社区发起。该基准测试采用真实场景 Bluesky 数据集( 10 亿级 JSON 数据),包含多层嵌套、键值不固定的 JSON 结构,对数据库的查询优化、列存设计、解析引擎都是严苛考验,是业内公认的半结构化性能试金石。

Doris 冷查性能 Top 1

根据最新的内部测试与 JSONBench 官方公布结果, Apache Doris 3.1 冷查在 Q3--Q5 查询表现最佳,且在冷查询(无缓存)场景下性能远超其他所有对比系统,位居榜首,综合性能全面领先。

具体测试结果如下:

从榜单可以清晰地看到,Doris (分数 1.57) 具备压倒性的性能优势:其速度约是 MongoDB (分数 258.21) 的 164 倍,是 PostgreSQL (分数 1687.29) 的 1074 倍。同时,以近 2 倍的优势领先于 Elasticsearch (分数 3.01),成为更具竞争力的选择。

此外,Doris 在热查询下也表现优异,仅次于榜单发起者 ClickHouse,位居第二。

性能登顶的背后

Apache Doris 在冷查询场景下的卓越性能,得益于其在以下几方面的协同:

  • 高效 I/O 路径:通过 Path 级别列裁剪和延迟物化机制,冷读 JSON 子列时仅加载必需的数据,精确命中、减少数据读放大问题;
  • Variant 子列级索引:支持 JSON 路径索引(ZoneMap、BloomFilter 等稀疏索引)和谓词下推,支持文件级别裁剪,可加速过滤条件的定位;
  • 强大的查询引擎:具备高效的向量化执行引擎以及并发查询机制,显著提升查询效率;
  • 智能缓存策略:在冷查时,结合预读与页缓存,可提升系统整体吞吐。

同时,在 Doris 3.1 版本中,Doris 对 Variant 类型进行了系统性优化,使其在冷查场景下有更为可观的性能提升:

  • 稀疏子列(Sparse Sub-Column)机制:仅列式存储高频出现的 JSON 键,减少 I/O 与元数据开销;
  • **子列模板化(Schema Template)机制:**固定子列类型,确保索引命中更加稳定;
  • 列裁剪与路径索引优化:冷读时可精确定位目标子列,避免全字段扫描,并能实现更稳定的索引命中。

详情参考:Variant 数据类型

选择 Apache Doris

对于追求稳定、高效、低延迟的半结构化分析系统而言,Apache Doris 3.1 正在成为新的性能标杆。其核心价值体现在:

  • 秒级查询响应:在日志、埋点、事件数据分析场景中,实现秒级响应,支持实时探索;
  • 适用存算分离架构:即使在基于 S3、HDFS 的大规模存算分离架构中,冷查询性能依然强劲;
  • 极低 I/O 成本:在相同查询规模下,Doris 的冷查 I/O 成本相比 Elasticsearch 可降低 60% 以上;
  • 技术架构升级 :从上文可知,Doris 在 JSON 分析场景中,性能远超 MongoDB、PostgreSQL 以及 Elasticsearch,是当下更具竞争力的半结构化数据分析的选择。
相关推荐
非优秀程序员2 小时前
第02章 杭电的英语老师与一台服务器|《互联网产品恩仇录》
数据库·node.js·代码规范
SelectDB7 小时前
SelectDB 是哪个公司的?是国产数据库吗?一篇讲清飞轮科技与 Apache Doris 的关系
数据库
这个DBA有点耶7 小时前
库内计算推理:一条SQL背后的算子融合,和外挂方案差了几次网络往返
数据库·人工智能·sql
这个DBA有点耶9 小时前
函数索引的“完全一致”有多苛刻:写法、字符集、类型,差一处就失效
数据库·mysql·代码规范
星恒随风9 小时前
MySQL 从零入门(三):表的约束详解
linux·服务器·数据库·笔记·mysql
Alluxio10 小时前
Alluxio + OCI:为 AI 工作负载实现亚毫秒访问延迟与可扩展吞吐
运维·数据库·人工智能·分布式·缓存·ai·语言模型
数据库急诊室_阿哲13 小时前
一次加索引建议的复核记录:从报告到签字
数据库·ai数据库
青瓦梦滋14 小时前
Redis主从复制
服务器·数据库·redis·缓存·bootstrap
慧都小妮子15 小时前
Wyn商业智能国产数据库适配:数据接入、分析缓存与审计日志验证清单
数据库·数据分析·数据可视化·审计日志·商业智能
Joy T16 小时前
Redis Lua 原子限流:Lua 脚本、竞态条件与并发控制
数据库·redis·lua·限流·竞态条件·redis scripting