SSTables和LSM-Tree

SSTables 可以类比Kafka:将数据按键排序写入磁盘,并分为多个段,组织段的稀疏索引,并定期合并段文件(kafka因为不存在重复数据,所以不需要合并)

LSM-Tree是基于SSTables的:在内存中维护两个Tree(交替工作),当Tree的大小达到一定的阈值之后,写操作转移到另一个tree,并将当前tree写入磁盘,形成一个SSTables实例,当读的时候,先从内存实例中查找,然后依次从磁盘的SSTables查找,并且写的时候为了避免宕机,会先写一个顺序预写日志(这也是Rockes和Level-DB的视线)

相关推荐
Paraverse_徐志斌3 天前
LSM Tree 实现解析:Memtable、SSTable、Compaction
sstable·lsm-tree·lsm tree·memtable
2301_7890156213 天前
DS进阶:红黑树
c语言·开发语言·数据结构·c++·算法·r-tree·lsm-tree
Andy Dennis1 个月前
一文漫谈数据库存储之索引(B+, B-link, LSM tree等)
数据库·b+树·lsm-tree
zhangkaixuan4562 个月前
Paimon Split 机制深度解析
java·算法·数据湖·lsm-tree·paimon
Moorper6 个月前
Python助力数据分析如何用Pandas高效处理大规模数据
lsm-tree
lifallen8 个月前
深入解析RocksDB的MVCC和LSM Tree level
大数据·数据结构·数据库·c++·lsm-tree·lsm tree
递归尽头是星辰8 个月前
ClickHouse MergeTree引擎:从核心架构到三级索引实战
clickhouse·lsm-tree·分布式架构·mergetree·clickhouse索引
李兆龙的博客8 个月前
问津集 #1:Rethinking The Compaction Policies in LSM-trees
lsm-tree
lifallen9 个月前
Paimon LSM Tree Compaction 策略
java·大数据·数据结构·数据库·算法·lsm-tree