局部性原理

poemyang16 天前
kafka·高并发·pagecache·存储架构·顺序i/o·局部性原理
千亿消息“过眼云烟”?Kafka把硬盘当内存用的性能魔法,全靠这一手!Kafka 消息队列Apache Kafka是一个开源的分布式消息队列,由LinkedIn公司开发并于2011年贡献给Apache软件基金会。Kafka被设计用来处理千亿量级的实时数据,被广泛应用于互联网大规模数据处理平台中。
poemyang17 天前
存储·pagecache·lsm tree·顺序i/o·局部性原理
Facebook内部都在用的存储引擎,LSM凭什么能硬扛亿级写入流量?RocksDB LSM树 RocksDB是Meta (Facebook) 开源的高性能持久化键值存储库,源于Google的LevelDB,并针对SSD和服务器工作负载进行了深度优化。它广泛应用于需要处理海量数据(亿级甚至更高)并要求高写入吞吐的场景。 RocksDB 以 kv 对集合的形式存储数据, key 和 value 是任意长度的字节数组(byte array)。RocksDB 提供了几个用于操作 kv 集合的函数底层接口:
poemyang21 天前
mysql·pagecache·顺序i/o·局部性原理·b tree·b+ tree
十年大厂员工终明白:MySQL性能优化的尽头,是对B+树的极致理解存储引擎 存储引擎是数据库管理系统(DBMS)或键值存储系统的核心组件,它定义了数据在持久化存储介质上如何组织、存储、检索和管理。不同的存储引擎针对特定负载(如读密集型、写密集型、混合型)和数据模型(如关系型、键值型、文档型)进行优化。 目前常见的存储引擎使用的存储数据结构有如下几种。 1)哈希表(Hash Table):提供O(1)平均时间复杂度的单点查询(精确键匹配)。非常适合键值(Key-Value)存储,但天然不支持范围查询或有序遍历(除非对整个数据集扫描)。 2)B+树(Balance+ Tre
poemyang24 天前
存储·pagecache·计算机原理·i/o 模式·顺序i/o·局部性原理
硬盘性能提升100倍的秘密:看懂顺序I/O的魔力I/O缓存局部性原理 局部性原理(Principle of Locality)指在程序执行过程中,倾向于访问某些局部特定的数据或指令,而不是随机地访问整个内存空间。这是缓存技术得以有效的根本原因。 1)时间局部性(Temporal Locality):如果一个数据项被访问,那么在不久的将来它很可能被再次访问(如循环中的变量、常用函数)。 2)空间局部性(Spatial Locality):如果一个数据项被访问,那么物理地址邻近它的数据项也很可能在不久的将来被访问(如顺序执行的指令、数组元素的遍历)。 局部
我是有底线的