技术栈
compaction
StarRocks_labs
6 天前
数据库
·
starrocks
·
compaction
·
memtable
·
本地磁盘 spill
从小文件困局到“花小钱办大事”:StarRocks 存算分离批量导入优化实践
作者:罗一鑫 StarRocks Committer导读:在存算分离架构下,“一次性导入海量历史数据”正成为被放大的隐形风险。本文介绍 StarRocks 如何从写入源头重构大导入路径:通过“内存→本地磁盘 spill→集中 merge→对象存储”,减少远程写入和重复开销,降低 S3 写入次数并放大文件粒度,释放本地 I/O 能力,从源头缓解小文件问题,帮助用户以更低投入获得更高效、更稳定的使用体验。
zincooo
2 年前
大数据
·
hbase
·
compaction
HBase之Compaction
随着memstore的不断flush,storefile的数量将会不断增加。compaction将通过合并storefile来减少文件数量,并提高读性能。conpaction以store为单位
我是有底线的