读书笔记-数据密集型应用系统设计

  1. 读时模式类似编程语言中的动态 (运行时)类型检査,而写时模式类似于静态 (编译
    时) 类型检査
  2. 通常建议文档应该尽量小且避免写入时增加文档大小
  3. 融合关系模型与文档模型是未来数据库发展的一条很好的途径。
  4. 与直觉相反,内存数据库的性能优势并不是因为它们不需要从磁盘读取。如果有足够
    的内存,即使是基于磁盘的存储引擎,也可能永远不需要从磁盘读取,因为操作系统
    将最近使用的磁盘块缓存在内存中。相反,内存数据库可以更快,是因为它们避免使
    用写磁盘的格式对内存数据结构编码的开销[441。
  5. 除了性能外,内存数据库的另一个有意思的地方是,它提供了基于磁盘索引难以实现
    的某些数据模型。例如,Redis为各种数据结构(如优先级队列和集合)都提供了类
    似数据库的访问接口。由于所有的数据都保存在内存中,所以实现可以比较简单。
    最近的研究表明,内存数据库架构可以扩展到支持远大于可用内存的数据集,而不会
    导致以磁盘为中心架构的开销|451。所谓的反缓存方法,当没有足够的内存时,通过将
    最近最少使用的数据从内存写到磁盘,并在将来再次被访问时将其加载到内存。这与
    操作系统对虚拟内存和交换文件的操作类似,但数据库可以在记录级别而不是整个内
    存页的粒度工作,因而比操作系统更有效地管理内存。不过,这种方法仍然需要索引
    完全放入内存(如本章开头的Bitcask示例)。
    如果将来非易失性存储(non-volatile memory, NVM) 技术得到更广泛普及,可能还
    需要进一步改变存储引擎设计[461。目前这是一个新的研究领域,但值得密切关注。
相关推荐
宽海智能仓储物流4 小时前
宽海智能WCS系统常见问题全解析:从选型对接、运维定制到降本增效
运维·数据仓库·自动化
上海潭龙东海科技有限公司4 天前
客运站管控之动态孪生技术方案(新增一屏管控模块
数据仓库·人工智能·算法·重构·动态规划
Francek Chen12 天前
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践
大数据·数据仓库·hive·hadoop·sql
全栈陈序员15 天前
【Git】从入门到精通(二)—— Git安装与初次配置
数据仓库·git
程序员梅雨15 天前
【从零开始学习数据仓库 | 第三篇】: Flume——数据采集基石
java·大数据·数据仓库·后端·学习·flume
注塑机数据采集联网17 天前
数据采集网关入门:ZK-D1/D3从零开始构建你的数据运用
大数据·数据仓库·人工智能·物联网·数据库架构·注塑机网关
roman_日积跬步-终至千里17 天前
【数据建模入门】从一家小店看懂数仓与机器学习:先理业务,再串技术
数据仓库·人工智能·机器学习·数据分析·数据建模
程序员梅雨18 天前
【从零开始学习数据仓库 | 第二篇】: 拉链表 & 数仓分层
大数据·数据仓库·学习
roman_日积跬步-终至千里18 天前
数仓开发的三层责任:业务定义、模型设计与 SQL 实现
数据库·数据仓库·sql·数据建模
geovindu19 天前
SQL Data Sampling and Approximation Techniques using postgreSQL 18
大数据·数据库·数据仓库·sql·postgresql·数据库开发·数据库架构