CPU缓存是一种位于CPU和主内存(RAM)之间的小型、高速存储器，用于存储CPU近期可能再次使用的数据和指令。由于CPU速度远高于内存访问速度，缓存的存在有效缓解了"内存墙"问题。
缓存层级结构
现代CPU通常采用多级缓存设计：
1. L1缓存
速度最快，容量最小(通常32-64KB)
分为指令缓存(L1i)和数据缓存(L1d)
访问延迟：1-3个时钟周期
2. L2缓存
中等速度和容量(通常256KB-1MB)
通常为统一缓存(存储指令和数据)
访问延迟：10-20个时钟周期
3. L3缓存
速度较慢但容量较大(通常2-32MB)
在多核CPU中通常由所有核心共享
访问延迟：30-50个时钟周期
缓存工作原理
缓存命中与未命中
命中：CPU需要的数据在缓存中找到
未命中：数据不在缓存中，需从主内存获取
缓存行(Cache Line)
数据在缓存中不是以字节为单位，而是以缓存行(通常64字节)为单位传输
这解释了为什么数据结构对齐会影响性能
缓存映射方式
直接映射：每个内存块只能映射到缓存中一个特定位置
全相联映射：内存块可以放在缓存中任何位置
组相联映射：折中方案，缓存分为多个组，内存块可映射到特定组中的任意位置
缓存一致性协议
多核系统中，确保各核心缓存数据一致性的协议：
MESI协议：Modified(修改)、Exclusive(独占)、Shared(共享)、Invalid(无效)
MOESI协议：在MESI基础上增加Owned(拥有)状态
关键优化策略
1. 数据访问模式优化
顺序访问优于随机访问：尽量使内存访问模式保持线性顺序
可预测的访问模式：帮助CPU硬件预取器提前加载数据
访问粒度优化：充分利用每个缓存行加载的数据
2. 数据结构设计原则
紧凑存储布局：减少结构体/类中的内存空隙
数据分离：将频繁访问和不常访问的数据分开存储
对齐考量：合理利用内存对齐减少缓存行占用
3. 多线程环境优化
避免伪共享：确保不同线程频繁修改的变量不在同一缓存行
线程局部存储：利用线程本地存储减少共享数据冲突
无锁数据结构：减少缓存一致性协议带来的开销
实践优化方法
1. 内存访问优化
循环变换：通过循环分块、循环展开等技术改善访问模式
数据重组：将数据结构从AoS（结构数组）转换为SoA（数组结构）或混合布局
预取策略：合理使用软件预取指令引导数据加载
2. 缓存感知算法
分治策略：将大问题分解为适合缓存大小的小问题
缓存敏感数据结构：如B树根据缓存行大小选择合适的分支因子
工作集控制：保持活跃数据集在缓存容量范围内
3. 性能分析工具
硬件性能计数器：监控缓存命中率、预取效率等指标
缓存模拟工具：如Cachegrind分析缓存使用情况
可视化工具：展示内存访问热点和模式
架构级考量
1. NUMA架构优化
数据局部性：使进程尽量访问本地内存节点
内存绑定：将关键线程绑定到特定NUMA节点
跨节点访问优化：减少远程内存访问频率
2. 现代CPU特性利用
非临时存储：对只写一次的数据使用非临时存储指令
缓存控制指令：适当使用缓存刷新、预取等指
SIMD优化：向量化操作提高缓存利用率