数据库不用mmap

你确定你想用 MMAP 实现数据库么?_哔哩哔哩_bilibili

MMAP 的随机读与顺序读的性能表现不好,以及对于写主要是不可控的刷入时机以及代码冗余,所以 MMAP 不适合在数据库中使用。

mmap是posix系统调用,它提供由操作系统管理内存映射的文件。基于mmap的文件io并不适合您的dbms。持久化存储中读取和写入文件的能力(persistent file storage)。一些流行使用的是内存映射文件io即mmap。在程序需要文件页之前,他实际上不会将文件页加载到内存。但是当操作系统检索页面的时候,他会意识到内存中没有关联的物理页面,所以它需要触发一个页面错误才能从磁盘上获取它,然后OS向页面添加物理地址映射到虚拟地址的条目,映射也将被存储在称为转译后备缓冲区或TLB的特殊cpu缓存中,这将有助于加速未来的重复访问,所以我们不总是在页表中进行查找内容

操作系统管理文件io,您完全不知道哪些页面在内存中,哪些页在磁盘上,意味着,任何时候读取页面时,您都可能会阻塞在操作系统获取页面

根据头中的校验和验证刚从磁盘读取的页面是一个很好的事件 ,并在页面写回磁盘之前,再次检查页面是否损坏,但是文件io发生之前,您仍然没有任何可见性,一切有OS处理

操作系统只使用单个进程执行页面移除 ,在我们的实验中,这变成了cpu的约束(cpu bound)。其次是同步页表的开销,以及高竞争下关联的数据结构(本例中100个并发线程),TLB shootdowns(TLB缓存存储的是CPU中的页表条目),当页边被逐出时,这些条目需要删除,这需要昂贵的处理器间中断

TLB shootdown是指在多处理器系统中,当一个处理器修改了共享内存中的页表信息时,需要通知其他处理器相应的TLB项已经失效,需要被清除。这个过程就称为TLB shootdown。

在多处理器系统中,每个处理器都有自己的TLB用于加速虚拟地址到物理地址的转换。当一个处理器修改了共享内存中的页表信息,比如将某个页面标记为无效或者修改了映射关系,其他处理器的TLB中可能仍然包含该页面的映射信息,这时就需要进行TLB shootdown操作,通知其他处理器清除相应的TLB项。

TLB shootdown通常由操作系统或者硬件协助完成,确保各个处理器的TLB保持一致性。这样可以避免因为不一致的TLB导致的内存访问错误或者数据一致性问题。

TLB shootdown是多处理器系统中保证内存一致性的重要机制之一,通过协调各个处理器的TLB,确保共享内存中的数据一致性。

相关推荐
薛定谔的算法19 分钟前
phoneGPT:构建专业领域的检索增强型智能问答系统
前端·数据库·后端
Databend2 小时前
Databend 亮相 RustChinaConf 2025,分享基于 Rust 构建商业化数仓平台的探索
数据库
得物技术3 小时前
破解gh-ost变更导致MySQL表膨胀之谜|得物技术
数据库·后端·mysql
Raymond运维7 小时前
MariaDB源码编译安装(二)
运维·数据库·mariadb
沢田纲吉7 小时前
🗄️ MySQL 表操作全面指南
数据库·后端·mysql
RestCloud1 天前
SQL Server到Hive:批处理ETL性能提升30%的实战经验
数据库·api
RestCloud1 天前
为什么说零代码 ETL 是未来趋势?
数据库·api
ClouGence1 天前
CloudCanal + Paimon + SelectDB 从 0 到 1 构建实时湖仓
数据库
DemonAvenger1 天前
NoSQL与MySQL混合架构设计:从入门到实战的最佳实践
数据库·mysql·性能优化
AAA修煤气灶刘哥2 天前
后端人速藏!数据库PD建模避坑指南
数据库·后端·mysql