技术栈

memtable

Paraverse_徐志斌
19 天前
sstable·lsm-tree·lsm tree·memtable
LSM Tree 实现解析:Memtable、SSTable、CompactionMemtable 是一种内存中的有序数据结构,Memtable 在 RAM 内存层面,它存储数据是有序的,当我们向 LSM Tree 中写入数据之前,会先将数据顺序写入到 MemTable 内存中,一旦 MemTable 内存的数据量达到预设的阈值,或者到了预定的时间间隔,其中的数据便会被刷新(Flush)并整理成 SSTable。
StarRocks_labs
4 个月前
数据库·starrocks·compaction·memtable·本地磁盘 spill
从小文件困局到“花小钱办大事”:StarRocks 存算分离批量导入优化实践作者:罗一鑫 StarRocks Committer导读:在存算分离架构下,“一次性导入海量历史数据”正成为被放大的隐形风险。本文介绍 StarRocks 如何从写入源头重构大导入路径:通过“内存→本地磁盘 spill→集中 merge→对象存储”,减少远程写入和重复开销,降低 S3 写入次数并放大文件粒度,释放本地 I/O 能力,从源头缓解小文件问题,帮助用户以更低投入获得更高效、更稳定的使用体验。
我是有底线的