Accordion:一种HBase内存压缩算法

HBase 2.0引入Accordion(手风琴)算法,旨在提升读写性能,接近内存速度同时保证持久存储。该算法基于LSM树,通过在内存中压缩数据,减少磁盘刷新频率,从而降低写入放大和I/O开销。

HBase中,数据先写入MemStore,刷入磁盘后形成HFile。传统设计下,MemStore容量小,频繁flush影响性能。Accordion将LSM思想应用于内存,通过CompactingMemStore在内存中管理多个segment,自动合并冗余版本,减少HFile生成,提升写入吞吐量,并降低GC压力和读取延迟。

Accordion提供两种压缩级别:

basic(优化所有更新)和eager(适用于高频率更新场景,如队列或计数器,会主动清理冗余数据,但可能增加CPU和GC开销,不建议与MSLAB堆内分配同用)。

配置方式:

在全局或列族级别设置,支持none、basic、eager三种模式,默认basic。

性能测试(YCSB):

Zipf分布下,写入吞吐提升20%,写入放大降低30%,GC降低22%,读延迟降低12%;均匀分布下,写入吞吐提升50%,写入放大降低25%,GC降低36%。

工作原理:

CompactingMemStore将数据分为active segment和不可变segment pipeline,flush时生成快照写盘,同时后台合并segment索引,实现空间高效索引和快速查找。未来版本可能支持自动选择压缩策略,适应动态访问模式。

相关推荐
wuyk5551 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
小乖写代码1 小时前
消息、回执与媒体 · msgstore.db · Messages, Receipts, and Media
数据库·媒体·whatsapp·消息回执
GeW2 小时前
世界目光聚焦中国:底层技术、Linux、数据库的破局逻辑
linux·数据库
PingCAP3 小时前
平凯数据库 × 圣诺云数:让治理数据实时可用、跨域可信流通
数据库·tidb
利威尔xu3 小时前
PostgreSQL 索引失效 4 类:函数运算让查询全表扫描拖垮性能
开发语言·数据库·postgresql·性能优化·索引优化
PingCAP3 小时前
挚文集团(陌陌、探探)从 MySQL 分库分表到 TiDB 实时统一架构的实践
数据库·tidb
Decay__3 小时前
SQLServer 运维自动化平台 —— PowerShell + SQL Agent 作业:部署、监控、巡检、告警、工单闭环一体化
运维·数据库·sql·mysql·架构
杨凯凡4 小时前
Spring Framework 7 原生重试与并发限制实战:@Retryable、@ConcurrencyLimit 能替代 Resilience4j 吗?
数据库·spring·sqlserver
星恒随风4 小时前
MySQL 从零入门(十):MVCC、Undo Log 与 Read View 详解——InnoDB 如何实现事务隔离?
linux·数据库·笔记·sql·mysql
zdr尽职尽责4 小时前
终端工具凭空消失:Codex + GPT-6 的一次完整排障复盘
数据库·gpt·学习·ai