读书笔记-数据密集型应用系统设计

  1. 读时模式类似编程语言中的动态 (运行时)类型检査,而写时模式类似于静态 (编译
    时) 类型检査
  2. 通常建议文档应该尽量小且避免写入时增加文档大小
  3. 融合关系模型与文档模型是未来数据库发展的一条很好的途径。
  4. 与直觉相反,内存数据库的性能优势并不是因为它们不需要从磁盘读取。如果有足够
    的内存,即使是基于磁盘的存储引擎,也可能永远不需要从磁盘读取,因为操作系统
    将最近使用的磁盘块缓存在内存中。相反,内存数据库可以更快,是因为它们避免使
    用写磁盘的格式对内存数据结构编码的开销[441。
  5. 除了性能外,内存数据库的另一个有意思的地方是,它提供了基于磁盘索引难以实现
    的某些数据模型。例如,Redis为各种数据结构(如优先级队列和集合)都提供了类
    似数据库的访问接口。由于所有的数据都保存在内存中,所以实现可以比较简单。
    最近的研究表明,内存数据库架构可以扩展到支持远大于可用内存的数据集,而不会
    导致以磁盘为中心架构的开销|451。所谓的反缓存方法,当没有足够的内存时,通过将
    最近最少使用的数据从内存写到磁盘,并在将来再次被访问时将其加载到内存。这与
    操作系统对虚拟内存和交换文件的操作类似,但数据库可以在记录级别而不是整个内
    存页的粒度工作,因而比操作系统更有效地管理内存。不过,这种方法仍然需要索引
    完全放入内存(如本章开头的Bitcask示例)。
    如果将来非易失性存储(non-volatile memory, NVM) 技术得到更广泛普及,可能还
    需要进一步改变存储引擎设计[461。目前这是一个新的研究领域,但值得密切关注。
相关推荐
Sayai1 天前
ClickHouse WITH FILL 实战:监控大屏时间序列补零,附多粒度指标表与物化视图级联设计
大数据·运维·数据仓库·clickhouse·物化视图
躺柒2 天前
读数据架构知识体系指南16数据网格(上)
数据仓库·架构·数据分析·数据湖·数据架构·关系数据库
省钱兄--zs2 天前
北京24小时自助健身房系统软件开发实战:从架构设计到部署指南
java·数据仓库·spring boot·小程序·需求分析
躺柒4 天前
读数据架构知识体系指南14数据编织
大数据·数据仓库·数据分析·数据湖·数据编织
一隅论数智5 天前
给AI Agent一颗“私域大脑“:本体增强的工程化之路
大数据·运维·数据仓库·人工智能·笔记·学习·政务
CarIise9 天前
Spring Boot整合MyBatis与文件上传:从分层架构到文件上传下载实战
数据仓库·hive·hadoop
ha_lydms9 天前
MaxCompute中加密与解密函数
大数据·数据库·数据仓库·hadoop·dataworks·maxcompute·odps
千桐科技10 天前
数据中台 ETL 编排实践:基于 qData 开源版实现数据接入、转换与调度执行
数据仓库·开源·etl
西木莉17 天前
数据仓库概述
数据仓库
Francek Chen18 天前
【大数据处理与分析】数据仓库Hive:04 数据仓库Hive概述
大数据·数据仓库·hive·hadoop·分布式