性能优化理论篇 | Cache VS Buffer,傻傻分不清 ?

性能优化系列目录:
性能优化理论篇 | 彻底弄懂系统平均负载
性能优化理论篇 | swap area是个什么东西

从free命令开始

free 命令是一个在类 Unix 操作系统中用于显示内存使用情况的工具。它的输出包含了系统内存的不同方面,如总内存、已用内存、空闲内存等。理解这些数据之间的关系可以帮助你更好地监控和优化系统性能。

输出中各个字段的解释如下:

  • total: 系统中物理内存的总量。
  • used: 当前正在被进程和操作系统使用的内存量。这包括了正在使用的内存以及已分配但当前未使用的内存。
  • free: 未被分配的内存。这是可以分配给新进程或操作系统使用的内存。
  • shared: 不同进程间共享的内存量。这通常包括共享库或进程间通信所用的内存。
  • buff:块设备的读写缓冲区,更靠近存储设备,或者直接就是disk的缓冲区
  • cached:page cache的内存, 文件系统的cache,是memory的缓冲区。
  • available: 估算的可用内存量,包含缓冲和缓存的空间。因为如果需要这2部分内存可以被释放供新应用程序或进程使用。

这些数据之间的关系如下:

  • 物理内存的总量(total) = 已用内存(used) + 空闲内存(free) + 缓存/缓冲区内存(buff/cache)
  • 系统实际的可用内存(available) = 空闲内存(free) + 缓存/缓冲区内存(buff/cache
  • 交换空间的总量(Swap: total) = 已用交换空间(used) + 空闲交换空间(free)

注意:物理内存的总量不需要加上shared的空间,shared 字段表示被多个进程共享的内存量。已经包含在 used 和 buff/cache 中,因此不需要单独加上 shared 的值来计算总的物理内存。

从上面的输出可以看出,你会发现系统有大约 8 GB 的 RAM,其中 1.1 GB 已经被使用了,46 MB 用于共享内存,2.7 GB 用于存储缓冲区和缓存,可以空间是6.3GB。

free 命令显示的数据来自" /proc/meminfo"文件,这是 Linux 中的一种特殊文件,提供有关系统内存的使用情况和统计信息。

在这些内存的概念中,有2个概念非常容易弄混------Buffers和Cache,很多人总是将它们当成一个东西来看待,这是一种误区。

下面我们通过两个实验来说明。

Buffers 实验

首先,打开终端清除缓存以获得更准确的测试结果。可以使用以下命令:

bash 复制代码
$ free -mh
$ echo 3 > /proc/sys/vm/drop_caches
$ free -mh

命令" echo 3 > /proc/sys/vm/drop_caches"用于清除Linux内核页面缓存中的缓存数据。其中的" 3"表示同时清除页面缓存和slab缓存。

然后,在另一个终端运行" vmstat 2"命令,每隔2s显示与虚拟内存相关的统计数据。

上图中,大家只需要关注" buff"这个表示缓冲区的列,以及" cache"这个表示缓存的列,单位都是KB。

接着,再启动一个窗口使用dd 命令

bash 复制代码
$ dd if=/dev/sda3 of=/dev/null bs=100M count=500

再切换到运行" vmstat 2"命令的窗口,观察" buff"列和" cache"列的变化,您会注意到,在使用 dd 命令读取磁盘时,缓冲区buffer和缓存cache的大小都会增加,但缓冲区buffer的增长速度明显更快。

Cache 实验

同样,实验前,使用以下命令清除文件系统缓存:

bash 复制代码
$ free -mh
$ echo 3 > /proc/sys/vm/drop_caches
$ free -mh

开个新终端窗口执行vmstat便于观察" buff"和" cache"的变化

再开个窗口运行以下命令:

bash 复制代码
$ dd if=/dev/zero of=testfile bs=100M count=500

现在,立即切换回之前运行" vmstat 2"命令的终端窗口,观察" buff"列和" cache"列的变化," cache"列的值一直在增加,而" buff"列的值基本不变。

这两个实验的输出结果证明了:当从磁盘读取时,数据会存储在缓冲区Buffer中,而读取文件则会导致数据存储在缓存Cache中。

简单来说,你可以理解缓冲区Buffer是用来缓存正在读取或写入到磁盘的数据。而缓存Cache是用来缓存正在读取或写入到文件的数据。

相关推荐
爱喝水的鱼丶3 小时前
SAP-ABAP:性能优化效果验证与回归测试:优化前后性能对比、业务逻辑兼容性校验方案
性能优化·sap·abap·回归测试·开发交流·交流学习
starzhang6 小时前
06 从 Trace 看 Android 启动流程
性能优化
工业设备方案笔记6 小时前
RK3588 AI设备性能优化指南:如何释放ARM边缘计算平台真正性能?
arm开发·人工智能·目标跟踪·性能优化·架构·边缘计算
数据库小学妹8 小时前
空间数据库查询慢怎么排查?索引失效、表膨胀、SQL优化实战(附排查命令)
数据库·性能优化·信创·故障排查·索引调优·空间数据库
爱喝水的鱼丶19 小时前
SAP-ABAP:接口与报表场景专项优化:RFC/ODATA 接口、ALV 报表的性能提升方案
运维·性能优化·接口·sap·abap·rfc·经验交流
这个DBA有点耶1 天前
数据库管理系统选型:从关系型到NewSQL的架构演进与决策框架
数据库·mysql·云原生·性能优化·架构·dba
灯澜忆梦1 天前
【MySQL11】进阶篇 | 索引_#3使用规则
数据库·sql·mysql·性能优化
starzhang1 天前
05 从 Perfetto 看懂 Binder 调用链
性能优化
大龄秃头程序员1 天前
一次关于 LRUCache 的工程化落地:从数据结构到 Feed 图片缓存实践
性能优化
jeffwang1 天前
我把同一个压测做错了三次,第四次才发现真正的瓶颈
分布式·性能优化·rust