OS内存管理

内存

定义

内存是计算机用于存储数据和程序的硬件设备,它允许计算机快速读取和写入数据。内存通常是临时存储,其内容在计算机关闭或断电时会丢失。内存可存放数据。程序执行前需要先放到内存中才能被CPU处理(缓和CPU与硬盘之间的速度矛盾)。

在多道程序环境下,系统中会有多个程序并发执行,即多个程序的数据需要同时放入内存中。内存会如同酒店给房间编制门牌号一样给内存的存储单元编制地址。

内存中也有一个一个"小房间",每个小房间就是一个"存储单元"。

如果计算机是按字节编址,则每个存储单元大小为1字节,即1B,为8个二进制位。

如果字长为16位的计算机按字编址,则每个存储单元大小都为1个字;每个字的大小为16个二进制。

计算机系统中使用逻辑地址和物理地址来管理内存。这两种地址有不同的作用和含义:

  1. 逻辑地址(Logical Address):

    • 逻辑地址也称为虚拟地址(相对地址),是程序中使用的地址。
    • 逻辑地址通常是在程序编写和执行时使用的地址,而不考虑物理内存的实际位置。
    • 操作系统通过使用内存管理单元(Memory Management Unit,MMU)来将逻辑地址转换为物理地址。
    • 逻辑地址的主要优势是它可以为每个程序提供独立的地址空间,使多个程序能够同时运行而不相互干扰。
  2. 物理地址(Physical Address):

    • 物理地址是实际存在于计算机硬件中的地址,用于在物理内存中定位数据和指令的存储位置。
    • 物理地址是CPU通过MMU进行地址转换后的结果,它指示了数据或指令在物理内存中的确切位置。
    • 物理地址是直接用于访问内存中的数据,而逻辑地址则是程序员或应用程序使用的抽象地址。

地址转换过程:

当程序运行时,CPU会生成逻辑地址,并将其发送给MMU。MMU负责将逻辑地址转换为物理地址,以便访问内存中的数据。这个过程包括以下步骤:

  1. 逻辑地址生成:程序中的指令和数据使用逻辑地址进行访问。

  2. 逻辑地址到物理地址转换:MMU将逻辑地址转换为对应的物理地址。这个过程可以包括页表(在分页内存管理中)或段表(在分段内存管理中)等数据结构的查找和转换。

  3. 访问物理内存:CPU使用转换后的物就会理地址来读取或写入内存中的数据或指令。

逻辑地址和物理地址的分离允许操作系统实现内存隔离和虚拟内存等功能,从而提高了计算机系统的安全性、稳定性和多任务处理能力。逻辑地址的使用允许多个程序同时运行,每个程序都认为它们在独立的内存空间中运行,而实际上它们共享物理内存。这种虚拟内存管理方式有助于提高系统资源的有效使用。

程序中的指令所使用的地址为逻辑地址,但是当程序被装入内存中时需要转换成物理地址,否则就会出现将当前数据存入其他进程内存空间的问题,这是相当危险的操作。所以应该如何将指令中的逻辑地址转换成物理地址呢?

装入方式

将程序或数据从辅助存储器(如硬盘或固态驱动器)加载到计算机的主内存(RAM)中的过程。这是计算机系统中的一个关键步骤,以便程序可以在计算机上执行。

装入方式又分为三种:绝对装入、可重定位装入、动态运行时装入。

绝对装入

在编译时,如果知道程序将放到内存中的哪个位置,编译程序将产生绝对地址的目标代码。装入程序按照装入模块中的地址,将程序和数据装入内存。

此模式的灵活性很差,因为需要提前知道装入模块会装入内存的哪个位置,从什么地方开始装。如果换了一台电脑(操作系统),则就此程序就不能运行。所以绝对装入只适用于单道程序环境

可重定位装入(静态重定位)

编译、链接后的装入模块地址都是从0开始的,指令中使用的地址、数据存放的地址都是相对于起始地址而言的逻辑地址。可以根据内存的当前情况,将装入模块装入内存的适当位置。装入时对地址进行"重定位",将逻辑地址变换成物理地址(地址变换是在装入时一次完成的)。

该方式的特点是在一个进程/作业装入内存时,必须分配其要求的全部内存空间,如果没有足够的内存,就不能装入该进程/作业。进程/作业一旦进入内存后,在运行期间时不能再次移动的,也不能再次申请内存空间。

动态运行时装入(动态重定向)

又称为动态运行时装入。编译、链接后的装入模块的地址都是从0开始的。装入程序把装入模块装入内存后,并不会立即将逻辑地址转换成物理地址,而是将地址转换推迟到程序真正要执行时才会进行。因此装入内存后所有的地址依旧是逻辑地址。这种方式需要一个重定位寄存器的支持。

采用动态重定位时允许程序在内存中发生移动。并且可将程序分配到不连续的存储区中;在程序运行前只需装入它的部分代码即可投入运行,然后在运行期间,根据需要动态申请分配内存;便于程序段的共享,可以向用户提供一个比存储空间大得多的地址空间。

程序生命周期

一个程序诞生于程序员的编辑,通过编译器的编译,形成目标模块并连接到装入模块,然后装入到内存中,最终被CPU处理运行变成一个进程。

编译:有编译程序将用户源代码编译成若干个目标模块(编译就是将高级语言翻译为机器语言)。

链接:由链接程序将编译后形成的一组目标模块,以及所需要的库函数链接在一起,形成一个完整的装入模块装入(装载),由装入程序将装入模块装入内存运行。

其中链接也分为三种方式:

  1. 静态链接:在程序运行之前,先将各个目标模块及它们所需的库函数连接成一个完整的可执行文件(装入模块),之后不再拆开。
  2. 装入时动态链接:将各目标模块装入内存时,边装入边链接的链接方式。
  3. 运行时动态链接:在程序执行中需要该目标模块时,才对它进行链接。其优点是便于修改和更新,便于实现对目标模块的共享。

内存管理

内存管理是计算机操作系统的一个关键组成部分,它涉及到内存空间的分配、回收、扩充、地址转换和存储保护等多个方面。内存管理在操作系统中起到至关重要的作用,确保程序能够安全、高效地运行。

内存空间的分配与回收

内存分配是指操作系统为运行程序分配内存空间的过程。通常,操作系统会维护一个内存分配表,记录哪些内存块是已分配的,哪些是空闲的。分配可以通过内存分配算法(如首次适应、最佳适应、最坏适应等)来选择适当大小的空闲块。

内存回收是指释放不再使用的内存,使其变为可用状态。这可以通过程序显式释放内存或通过垃圾回收机制来实现。

连续分配管理方式

连续分配是指为用户进程分配的必须是一个连续的内存空间。

单一连续分配

在单一连续分配方式中,内存被分为系统区用户区。系统区通常位于内存的低地址部分,用于存放操作系统的相关数据;用户区用于存放用户进程相关数据。

内存中只能有一道用户程序,用户程序独占整个用户区空间。

优点是实现起来很简单,无外部碎片(指内存中的某些空闲分区由于太小而难以利用),采用覆盖技术扩充内存,不一定需要采取内存保护(例如,早期的PC操作系统 MS-DOS)。

缺点是只能用于单用户、单任务的操作系统中,有内部碎片(指分配给某个进程的内存区域中,该进程没有用到的内存区域),存储器利用率很低。

固定分区分配

20世纪60年代出现了支持多道程序的系统,为了能在内存中装入多道程序,且这些程序之间又不会互相干扰,于是将整个用户空间划分为若干个固定大小的分区,在每个分区中只能装入一道作业,这样就形成了最早的、最简单的一种可运行多道程序的内存管理方式。

操作系统需要建立一个数据结构------分区说明表,来实现各个分区的分配与回收。每个表项对应一个分区,通常按分区大小排列。每个表项包括对应分区的大小、起始地址、状态(是否已经分配)。

当某个用户程序要装入内存时,由操作系统内核程序根据用户程序大小检索该表,从中找到一个能满足大小的、未分配的分区,将之分配给该程序,然后修改状态为"已分配"。

优点是实现简单,无外部碎片。缺点是当用户程序太大时,可能所有的分区都不能满足需求,此时不得不采用覆盖技术来解决,但又会降低性能。会产生内部碎片,内存利用率低。

固定分区分配中分区可以相等,也可以不相等。

分区大小相等时,缺乏灵活性,但是很适合用于一台计算机控制多个相同对象的场合。

当分区大小不相等时,增加了灵活性,可以满足不同大小的进程需求。根据常在系统中运行的作业大小情况进行划分。如,划分多个小分区、适量中等分区、少量大分区。

动态内存分配

又称为可变分区分配,这种分配方式不会预先划分内存分区,而是当进程装入内存时,根据进程大小动态建立分区,并使分区的大小正好适合进程的需要。因此系统分区的大小和数目是可变的。

操作系统会采用两种常用的数据结构来记录内存使用情况。

空闲分区表:每个空闲分区对应一个表项。表项中包含了分区号、分区大小、分区起始地址等信息。

空闲分区链:每个分区的起始部分与末尾部分分别设置了前向指针和后向指针。起始部分还可以记录分区大小等信息。

将一个新作业装入内存时,当很多个空闲分区都能满足需求时,须按照一定的动态分区分配算法,从空闲分区表(或者空闲分区链)中选出一个分区分配给该作业。该方式不会产生内部碎片,但是会产生外部碎片,可以利用"紧凑"技术来解决,即将运行的进程紧凑的放在一起,将零碎的内存拼成一个新的内存区域。

动态分配算法又分为四种:首次适应算法(First Fit)、最佳适应算法(Best Fit)、最坏适应算法(Worst Fit)、邻近适应算法(Next Fit)。

首次适应算法

每次都从低地址开始查找,找到第一个能满足大小的空闲分区。

将空闲分区以地址递增的次序排列。每次分配内存时顺序查找空间分区链(或空间分区表),找到大小能满足要求的第一个空闲分区。

最佳适应算法

由于动态分区分配是一种连续分配方式,为各个进程分配的空间必须是连续的一整片区域。因此为了保证当"大进程"到来时能有连续的大片空间,可以尽可能多地留下大片的空闲区,即优先使用更小的空闲区。

将空闲分区按容量递增次序链接。每次分配内存时顺序查找空闲分区链 (或空闲分区表),找到大小能满足要求的第一个空闲分区。

此时来了一个需要9M内存空间的进程6,则空闲分区表会变成

从上面的例子可以看出,该算法的最大缺点就是,每次都选择最小的分区进行分配,会留下越来越多的、很小的、难以利用的内存块。因此这种方法会产生很多的外部碎片。

最坏适应算法

又称为最大适应算法。为了解决最佳适应算法的问题,即留下太多难以利用的小(外部)碎片,可以在每次分配时优先使用最大的连续空闲区,这样分配后剩余的空闲区就不会太小,更方便使用。

将空闲分区按容量递减次序链接。每次分配内存时顺序查找空间分区链(空间分区表),找到大小能满足要求的第一个空间分区。

与最佳适应算法相反,最坏适应算法最大的缺点是,每次都选择最大的分区进行分配,虽然可以让分配后留下的空闲区更大、更可用,但是这种方式会导致较大的连续空闲区被迅速用完。如果之后有"大进程"到达,就没有内存分区可用。

邻近适应算法

邻近适应算法是解决首次适应算法的问题------每次都从链头开始查找,可能会导致低地址部分出现很多小的空闲分区,而每次分配查找时,都要经过这些分区,因此也增加了查找的开销。如果每次都从上次查找结束的位置开始检索,则能解决这个问题。

将空闲分区以地址递增的顺序排列(排成一个循环链表)。每次分配内存时从上次查找结束的位置开始查找空闲分区链(空闲分区表),找到大小能满足要求的第一个空闲分区。

首次适应算法每次都要从头开始查找,每次都需要检索低地址的小分区。但是这种规则也决定了当低地址部分有更小的分区可以满足需求时,会更有可能用到低地址部分的小分区,也会更有可能把高地址部分的大分区保留下来(最佳适应算法的优点)。

邻近适应算法的规则可能导致无论低地址、高地址部分的空闲分区都有相同的概率被使用,也就导致了高地址部分的大分区更可能被使用,划分为小分区,最后导致无大分区可用(最大适应算法的缺点)。

综上所述,这四种算法中,首次适应算法的效果反而更好

算法 算法思想 分区排列顺序 优点 缺点
首次适应 从头到尾找适合的分区 空闲分区以地址递增次序排列 算法开销小,综合看性能最好,回收分区后一半不需要对空闲分区队列重新排序
最佳适应 优先使用最小的分区,以保留更多大分区 空闲分区以容量递增次序排列 会有更多的大分区被保留小赖,更能满足大进程需求 会产生很多太小的、难以利用的碎片;算法开销大,回收分区后可能需要对空闲分区队列重新排序
最坏适应 优先使用更大的分区,以防止产生太小的不可用的碎片 空闲分区以容量递减次序排列 可以减少难以利用的小碎片 大分区容易被用完,不利于大进程;算法开销大
邻近适应 每次从上次查找结束位置开始查找(由首次适应演变而来) 空闲分区以地址递增次序排列(可排列成循环链表) 不用每次都从地地址的小分区开始检索。算法开销小 会使高地址的大分区也被用完
非连续分配管理方式

为用户进程分配的可以是一些分散的内存空间

基本分页存储管理

将内存空间分为一个个大小相等的分区 ,每个分区就是一个页框(页框=页帧=内存块=物理块=物理页面)。每个页框有一个编号,即"页框号"(页框号=页帧号=内存块号=物理块号=物理页号),其中页框号是从0开始的。

将进程的逻辑地址空间也分为与页框大小相等的一个部分,每个部分称为一个"页"或"页面"。每个页面也有一个编号,即"页号",页号也是从0开始的。

操作系统以页框为单位为各个进程分配内存空间。进程的每个页面分别放进一个页框中。即进程的页面与内存的页框有着一一对应的关系。

各个页面不必连续存放,可以放到不相邻的各个页框中。

为了能知道进程的每个页面在内存中存放的位置,操作系统要为每个进程建立一张页表(通常存在PCB中)。

举例:假设某个系统物理内存大小为 4 GB,页面大小为 4 KB,则每个页表项至少应该为多少字节?

内存块大小=页面大小=4KB=212B

4 GB的内存总共会被分为 232/212 = 220个内存块。内存块号的范围应该是0~220 - 1。内存块号至少要用20 bit来表示,至少需要用 3B 来表示块号(3 * 8 = 24 bit)。由于页号是隐含的,因此每个页表项占 3B,存储整个页表至少需要 3*(n + 1) B

注意:页表记录的只是内存块号,而不是内存块的起始地址。第i号内存块的起始地址 = i * 内存块大小。

在某个计算机系统中,页面大小为 50B。某进程逻辑地址 空间大小为 200B,则逻辑地址110对应的页面、页内偏移量是多少?

先介绍一下计算公式:

页号 = 逻辑地址 页面长度 {\frac{逻辑地址}{页面长度}} 页面长度逻辑地址 (取除法的整数部分)

页内偏移量 = 逻辑地址 % 页面长度 (取除法的余数部分)

页面在内存中的起始地址 + 页内偏移量 = 实际的物理地址

回到题目:页号 = 110 / 50 = 2 页面偏移量 = 110 % 50 = 10

故逻辑地址可以拆分为(页号,页内偏移量)。

通过页号查询页表,可以得知页面在内存中的起始地址。

但是在计算机内部,地址是用二进制表示的,如果页面大小刚好是2的整数幂,则计算机硬件可以很快速的将逻辑地址拆分成(页号,页内偏移量)。

页面大小刚好是2的整数幂的好处是:

  1. 逻辑地址的拆分更加迅速- -- 如果每个页面大小为2KB,用二进制数表示逻辑地址,则末尾K位,即为页内偏移量,其余部分就是页号。因此,如果让每个页面的大小为2的整数幂,计算机硬件就可以很方便地得出一个逻辑地址对应的页号和页内偏移量,而无需进行除法运算,从而提升了运行速度。
  2. 物理地址的计算更加迅速--根据逻 辑地址得到页号,根据页号查询页表从而找到页面存放的内存块号,将二进制表示的内存块号和页内偏移量拼接起来,就可以得到最终的物理地址。

两级页表

上面采用的页表方式为单级页表的方式,其存在很大的两个问题是:

  1. 所有页表都必须连续存放,页表过大需要很大的连续空间。
  2. 在一段时间内并非所有页面都用得到,因此没必要让整个页表常驻内存。

因此就引入了两级页表,即将较长的单级页表再次分页,此时的逻辑地址结构变为了(一级页号,二级页号,页内偏移量)。此时实现地址变换的步骤为下面的四个:

  1. 按照地址结构将逻辑地址拆分成三部分。
  2. 从PCB中读出页目录表始址,根据一级页号查页目录表,找到下一级页表在内存中的存放位置。
  3. 根据二级页号查表,找到最终想访问的内存块号。
  4. 结合页内偏移量得到物理地址。

当然,当使用二级表比较麻烦的时候,可以升级为三级表、四级表...这里统称为多级页表。

多级页表中,各级页表的大小不能超过一个页面。若两级页表不够,可以分更多级。

多级页表的访存次数(假设没有)

基本分段存储管理

进程的地址空间:按照程序自身的逻辑关系划分为若干个阶段,每个段都有一个段名(在低级语言中,程序员使用段名来编程),每段从0开始编址。

内存分配规则:以段为单位进行分配,每个段在内存中占据连续空间,但各段之间可以不相邻。

LOAD 1,[D] | <A> 写程序时使用的段名 [D]、[X] 会被编译程序翻译成对应段号。

STORE 1,[X] | <B> 其中的<A> 单元、<B>单元会被编译程序翻译成段内地址。

程序分为多个段,各段离散地装入内存,为了保证程序能够正常运行,就必须能从物理内存中找到各个逻辑段的存放位置。因此,需为每个进程建立一张段映射表,简称为"段表"。

每个段对应一个段表项,其中记录了该段在内存中的起始位置(又称为"基址")和段的长度。

段是信息的逻辑单位。分段的主要目的是更好地满足用户需求。一个段通常包含着一组属于一个逻辑模块的信息。分段对用户是可见的,用户编程时需要显式地给出段名。

页的大小固定且由系统决定。段的长度却不固定,决定于用户编写的程序。

分页的用户进程地址空间是一维的,程序员只需要给出一个记忆符即可表示一个地址。

分段的用户进程地址空间是二维的,程序员在标识一个地址时,既要给出段名,也要给出段内地址。

分页比分段更容易实现信息的共享与保护。

分页和分段访问一个逻辑地址时都需要两次访存,分段存储中也可以引入快表机构。

地址变换

  1. 由逻辑地址得到段号、段内地址。
  2. 段号与段表寄存器中的段长度比较,检查是否越界。
  3. 由段表始址、段号找到对应段表项。
  4. 根据段表中记录的段长,检查段内地址是否越界。
  5. 由段表中的"基址+段内地址"得到最终的物理地址。
  6. 访问目标单元。
优点 缺点
分页管理 内存空间利用率高,不会产生外部碎片,只会有少量的页内碎片 不方便按照逻辑模块实现信息的共享和保护
分段管理 很方便按照逻辑模块实现信息的共享和保护 如果段长过大,为其分配很大的连续空间会很不方便。同时段式管理会产生外部碎片。
段页式存储管理

段号的位数决定了每个进程最多可以分几个段。

页号位数决定了每个段最大有多少页。

页内偏移量决定了页面大小、内存块大小是多少。

"分段"对用户是可见的,程序员编程时需要显式地给出段号、段内地址。而将各段"分页"对用户是不可见的。系统会根据段内地址自动划分页号和页内偏移量。

因此段页式管理的地址结构是二维的。

每个段对应一个段表项,每个段表项由段号、页表长度、页表存放块号(页表起始地址)组成。每个段表项长度相等,段号是隐含的。

每个页面对应一个页表项,每个页表项由页号、页面存放的内存块组成。每个页表项长度相等,页号是隐含的。

地址变换

  1. 由逻辑地址得到段号、页号、页内偏移量。
  2. 段号与段表寄存器中的段长度比较,检查是否越界。
  3. 由段表始址、段号找到对应段表项。
  4. 根据段表中记录的页表长度,检查页号是否越界。
  5. 由段表中的页表地址、页号得到查询页表,找到相应页表项。
  6. 由页面存放的内存块号、页内偏移量得到最终的物理地址。
  7. 访问目标单元。

访问一个逻辑地址所需要访存的次数:

① 第一次------查段表

② 第二次------查页表

③ 第三次------访问目标单元

可以引入快表机构,以段号和页号为关键字查询快表,即可直接找到最终的目标页面存放位置。引入快表后仅需一次访存。

具有快表的地址变换机构

快表(Translation Lookaside Buffer,TLB)的地址变换机构通常是计算机操作系统和硬件虚拟内存管理的一部分。快表是一种高速缓存,用于存放最近访问的页表项的副本,可以加速地址变换的速度,以提高内存访问的速度。内存中的页表常称为慢表。

① CPU给出逻辑地址,由某个硬件算得页号、页内偏移量,将页号与快表中的所有页号进行比较。

② 如果找到匹配的页号,说明要访问的页表项在快表中有副本,则直接从中取出该页对应的内存块号,再将内存块号与页内偏移量拼接形成物理地址,最后,访问该物理地址对应的内存单元。因此,若快表命中,则访问某个逻辑地址仅需一次访存即可。

③ 如果没有找到匹配的页号,则需要访问内存中的页表,找到对应页表项,得到页面存放的内存块号,再将内存块号与页内偏移量拼接形成物理地址,最后,访问该物理地址对应的内存单元。因此,若快表未命中,则访问某个逻辑地址需要两次访存(注意:在找到页表项后,应同时将其存入快表,以便后面可能的再次访问。但若快表已满,则必须按照一定的算法对旧的页表项进行替换)

举个例子:

时间局部性:如果执行了程序中的某条指令,那么不久后这条指令很可能会再次执行;如果某个数据被访问过,不久之后该数据很可能再次被访问(程序中存在大量的循环)。

空间局限性:一旦程序访问了某个存储单元,在不久之后,其附近的存储单元也很有可能被访问(因为很多数据在内存中都是连续存放的)。

地址变换过程 访问一个逻辑地址的访存次数
基本地址变换机构 ① 算页号、页内偏移量 ② 检查页号合法性 ③ 查页表,找到页面存放的内存块号 ④ 根据内存块号与页内偏移量得到物理地址 ⑤ 访问目标内存单元 两次访存
具有快表的地址变换机构 ① 算页号、页内偏移量 ② 检查页号合法性 ③ 查快表。若命中,即可知道页面存放的内存块号,可直接进行步骤⑤;若未命中则进行④ ④ 根据内存块号与页内偏移量得到物理地址 ⑤ 访问目标内存单元 快表命中,则只需一次访存 快表未命中,则需要两次访存

以下是一个简要的描述:

  1. 虚拟内存系统:在现代计算机体系结构中,虚拟内存是一种重要的概念。它允许操作系统和硬件共同管理进程的内存访问。每个进程都使用虚拟地址,而不是物理地址,以便更好地控制内存和提高系统的可用性。

  2. 地址变换机构:地址变换机构是硬件和操作系统协同工作的一部分,用于将虚拟地址转换为物理地址。这个过程通常涉及将虚拟地址的不同部分映射到物理内存中的相应位置。

  3. 快表(TLB):TLB是一个特殊的高速缓存,用于存储最近使用的虚拟地址到物理地址的映射。它是地址变换机构的关键组成部分,旨在加速地址转换操作。TLB中的条目包括虚拟地址和相应的物理地址。

  4. 工作原理:当程序引用一个虚拟地址时,地址变换机构首先查看TLB以查找虚拟地址到物理地址的映射。如果映射在TLB中找到,这被称为"TLB命中",并且物理地址可以立即获取。如果映射不在TLB中,地址变换机构将执行较慢的内存访问以查找映射,并且可能将结果存储在TLB中,以便将来的快速访问。

  5. 性能提升:TLB显着提高了内存访问的速度,因为它减少了需要执行慢速内存查找的次数。较大、较高效的TLB可以提供更好的性能,特别是在多任务操作系统中,其中多个进程共享物理内存。

总的来说,具有快表的地址变换机构是计算机体系结构中的关键组件,有助于实现虚拟内存和提高内存访问的效率。它们使操作系统能够管理多个进程的内存,并在需要时将虚拟地址映射到物理地址,从而提供更好的性能和系统稳定性。

内存空间的扩充

当程序需要更多内存空间时,操作系统需要考虑内存的扩充。这可以通过增加物理内存或使用虚拟内存技术来实现。虚拟内存允许程序认为它具有无限的内存,而实际上它只使用了部分物理内存,将不常用的数据存储在磁盘上。

覆盖技术

覆盖技术的思想是将程序分为多个段(多个模块)。常用的段常驻内存,不常用的段在需要时才会调入内存。覆盖技术最初用来解决"程序大小超过物理内存总和"的问题。

内存中分为一个"固定区"和若干个"覆盖区"。需要常驻内存的段放在"固定区"中,调入后就不在调出(直至运行结束)。而不常用的段放在"覆盖区",需要用到时调入内存,用不到时调出内存。

必须由程序眼声明覆盖结构,操作系统完成自动覆盖。

缺点是对用户不透明,增加了用户编程负担。

交换技术

交换技术的设计思想是在内存空间紧张时,系统将内存中某些进程暂时换出外存,把外存中某些已具备运行条件的进程换入内存(进程在内存与磁盘间动态调度)。

具有对换功能的操作系统中,通常把磁盘空间分为文件区和对换区两部分。文件区主要用于存放文件,主要追求存储空间的利用率,因此对文件区空间的管理采用离散分配方式;对换区空间只占磁盘空间的小部分,被换出的进程数据就存放在对换区。由于对换的速度直接影响到系统的整体速度,因此对换区空间的管理主要追求换入换出速度,因此通常对换区采用连续分配方式(学过文件管理章节后即可理解)。总之,对换区的I/O速度比文件区的更快。

交换通常在许多进程运行且内存吃紧时进行,而系统负荷降低就暂停。例如:在发现许多进程运行时经常发生缺页,就说明内存紧张,此时可以换出一些进程;如果缺页率明显下降,就可以暂停换出。

可优先换出阻塞进程,可以换出优先级低的进程;为了防止优先级低的进程在被调入内存后很快又被换出,有的系统还会考虑进程在内存的驻留时间(PCB会常驻内存,不会被换出外存)。

虚拟存储技术

虚拟存储技术是计算机操作系统中的一种重要概念,旨在提供更大的内存空间和更好的内存管理,以改善系统的性能和可用性。虚拟存储技术允许程序认为它们拥有连续的、大于实际物理内存的地址空间,而实际上,部分数据和代码可以存储在磁盘上。这种技术的核心思想是将内存分为多个页(或块),并根据需要将这些页从磁盘加载到物理内存中。

以下是虚拟存储技术的一些重要方面:

  1. 分页:虚拟存储系统将物理内存和磁盘空间划分为固定大小的页或块,通常大小为4KB或更大。这些页用于存储程序的数据和代码。

  2. 分段:除了分页外,虚拟存储系统还可以使用分段技术将地址空间划分为不同的段,每个段具有不同的属性,如代码段、数据段等。

  3. 页表:操作系统维护一个页表,用于跟踪虚拟地址到物理地址的映射关系。这允许程序使用虚拟地址,而无需了解物理内存的详细情况。

  4. 页面置换:当物理内存不足时,虚拟存储系统使用页面置换算法来决定哪些页面应该从物理内存中交换出去,以便为新的页面腾出空间。

  5. 页面错误:如果程序尝试访问尚未加载到物理内存中的页面,将引发页面错误(Page Fault),操作系统将负责将相应的页面从磁盘加载到内存中。

  6. 虚拟内存:虚拟存储技术允许程序访问比实际物理内存更大的地址空间,这被称为虚拟内存。程序可以认为它们拥有连续的地址空间,而不受物理内存大小的限制。

  7. 提高性能和多任务处理:虚拟存储技术有助于提高系统性能,允许多个程序同时运行,同时也提供了更好的内存管理,减少了程序之间的干扰。

虚拟存储技术是现代计算机操作系统中的关键概念,它通过有效地管理内存资源,提高了系统的稳定性和性能,使程序能够更大程度地利用内存和存储资源。

地址转换

地址转换是将程序中的逻辑地址映射到物理地址的过程。操作系统使用页表或段表来执行地址转换,确保程序可以访问到正确的物理内存位置。这有助于实现内存保护和隔离。

为了使编程更加方便,程序员写程序时应该只需要关注指令、数据的逻辑地址。而逻辑地址到物理地址的转换(该过程称为地址重定向)应该由操作系统负责,这样保证了程序员写程序时不需要关注物理内存的实际情况。

内存保护

内存保护是确保不同程序或进程之间不会相互干扰或访问彼此的内存空间。操作系统通过设置访问权限位、使用地址空间隔离等机制来实现存储保护。这有助于确保系统的稳定性和安全性。

内存保护采取的两种方法:

方式一:在CPU上设置一对上、下限寄存器,存放进程的上、下限地址。进程的指令要访问某个地址时,CPU会检查其是否越界。

方式二:采用重定位寄存器(又称为基址寄存器)和界地址寄存器(又称为限长寄存器)进行越界检查。重定位寄存器中存放的是进程的起始物理地址,界地址寄存器存放的是进程的最大逻辑地址。

虚拟内存

上面提到的连续分配管理方式与非连续分配管理方式属于传统存储管理,这种存储管理方式存在以下两个问题:

  1. 一次性:作业必须一次性全部装入内存后才能开始运行。这会导致两个问题:① 作业很大时,不能全部装入内存,导致大作业无法运行。② 当大量作业要求运行时,由于内存无法容纳所有作业,因此只有少量作业能运行,导致多道程序并发度下降。
  2. 驻留性:一旦作业被装入内存中,就会一直驻留在内存中,直至作业运行结束。事实上,在一个时间段内,只需要访问作业的一小部分数据即可正常运行,这就会导致内存中会驻留大量的、暂时用不到的数据,浪费了宝贵的内存资源。

基于局部性原理,在程序装入时,可以将程序中很快会用到的部分装入内存中,暂时用不到的部分留在外存,这样就可以让程序开始运行。

在程序执行过程中,当所访问的信息不在内存中时,由操作系统负责将所需信息从外存调入内存,然后继续执行程序。

若内存空间不够,由操作系统负责将内存中暂时用不到的信息换出到外存。

在操作系统的管理下,在用户看来似乎有一个比实际内存大得多的内存,这就是虚拟内存。

操作系统虚拟性的一个体现,实际的物理内存大小没有变,只是在逻辑上进行了扩充。

虚拟内存有以下三个主要的特征:

  1. 多次性:无需在作业运行时一次性全部装入内存,而是允许被分成多次调用内存。
  2. 对换性:在作业运行时无需一直常驻内存,而是允许在作业运行过程中,将作业换入、换出。
  3. 虚拟性:从逻辑上扩充了内存的容量,使用户看到的内存容量,远大于实际容量。

请求分页管理方式

请求分页存储管理与基本分页存储管理的主要区别:

  1. 在程序执行过程中,当所访问的信息不在内存时,由操作系统负责将所需信息从外存调入内存(要求操作系统提供请求调页或请求调段功能),然后继续执行程序。
  2. 若内存空间不够,由操作系统负责将内存中暂时用不到的信息换出到外存(要求操作系统要提供页面置换或者段置换的功能)。

基本分页存储管理的页表:

请求分页存储管理的页表:

请求分页存储管理页表中请求页表项中增加了四个字段:

  1. 状态位:是否已经调入内存。
  2. 访问字段:可以记录最近被访问过几次,或记录上次访问的时间,供置换算法选择换出页面时参考。
  3. 修改位:页面调入内存后是否被修改过。
  4. 外存地址:页面在外存中的存放位置。

在请求分页系统中,每当要访问的页面不存在内存时,便产生一个缺页中断,然后由操作系统的缺页中断处理程序处理中断。

此时缺页的进程阻塞,放入阻塞队列,调页完成后再将其唤醒,放回就绪队列。

如果内存中有空闲块,则为进程分配一个空闲块,将所缺页面装入该块,并修改页表中相应的页表项。

如果内存中没有空闲块,则由页面置换算法选择一个页面淘汰,若该页面在内存期间被修改过,则要将其写回外存。未修改的页面不用写回外存。

缺页中断结构

缺页中断是因为当前执行的指令想要访问的目标页面未调入内存而产生的,因此属于内中断。

一条指令在执行期间,可能产生多次缺页中断(例如,copy A to B,即将逻辑地址A的数据复制到逻辑地址B,而A、B属于不同的页面,则可能产生两次中断)。

地址变换机构

下图为请求分页存储管理的地址变换机构。

其中新增了三个步骤:

  1. 请求调页(查到页表项时进行判断)
  2. 页面置换(需要调入页面,但没有空闲内存块时进行)
  3. 需要修改请求页表中新增的表项

如果页面在快表中,则证明该页面一定存在于内存中。若某个页面被换出外存,则快表中的相应表项也要删除,否则可能会访问错误的页面。

当找到对应页表项后,若对应页面未调入内存,则会产生缺页中断,之后由操作系统的缺页中断处理程序进行处理。

补充细节:

① 只有"写指令"才需要修改位。并且,一般来说只需修改表中的数据,只有要将快表项删除时才需要写回内存中的慢表。这样可以减少访存次数。

② 和普通的中断处理一样,缺页中断处理依然需要保留CPU现场。

③ 需要使用某种"页面置换算法"来决定一个换出页面

④ 换入/换出页面都需要启动慢速的I/O操作,可见,如果换入/换出太频繁,会有很大的开销。

⑤ 页面调入内存后,需要修改慢表,同时也需要将表项复制到快表中。

页面置换算法

页面置换算法是虚拟存储系统中用于管理物理内存中页面(或块)的一种策略。当物理内存不足以容纳所有需要驻留在内存中的页面时,页面置换算法决定哪些页面应该从内存中换出,以便为新的页面腾出空间。这样可以确保系统在有限的物理内存情况下,能够继续运行多个进程,并有效地利用虚拟内存。

页面置换的算法分为五种:最佳置换算法、先进先出置换算法、最近最久未使用置换算法、时钟置换算法、改进型的时钟置换算法。

页面的换入、换出需要磁盘I/O,会有较大的开销,因此好的页面置换算法应该追求更少的缺页率。

最佳置换算法

每次选择淘汰的页面将是以后永不使用,或者在最长时间内不再被访问的页面,这样可以保证最低的缺页率。

最佳置换算法可以保证最低的缺页率,但实际上,只有在进程执行的过程中才能知道接下来会访问到的是哪个页面。操作系统无法提前预判页面访问序列。因此,最佳置换算法在实际应用当中是无法实现的。

先进先出置换算法

每次选择淘汰的页面是最早进入内存的页面。

实现方法:把调入内存的页面根据调入的先后顺序排成一个队列,需要换出页面时选择队头页面即可。队列的最大长度取决于系统为进程分配了多少个内存块。

假设系统为某个进程分配了三个内存块,并考虑如下页面号引用串。可以发现当分配三个内存的时候,缺页次数为9次。

假设系统为该进程分配了四个内存块时,同样的页面号引用串,可以发现缺页次数为10次。

上述这种当为进程分配的物理块数增大时,缺页次数不增反减的异常现象,称为Belady 异常

只有FIFO算法会产生 Belady 异常。另外,FIFO算法虽然实现简单,但是该算法与进程实际运行时的规律不适应,因为先进入的页面也有可能是最经常被访问的。因此,该算法性能差。

最近最久未使用算法

最近最久未使用算法(LRU, least recently used):每次淘汰的页面是最近最久未使用的页面。

实现方法:赋予每个页面对应的页表项中,用访问字段记录页面自上次被访问以来所经历的时间t。当需要淘汰一个页面时,选择现有页面中t值最大的,即最近最久未使用的页面。

该算法的实现需要专门的硬件支持,虽然算法性能好,但是实现困难,开销大。

时钟置换算法

时钟置换算法是一种性能和开销较为均衡的算法,又称为CLOCK算法,或者最近未用算法(NRU, Not Recently Used)。

简单的CLOCK算法实现方法:为每个页面设置一个访问位,再将内存中的页面都通过链接指针链接成一个循环队列。当某页被访问时,其访问位置为1.当需要淘汰一个页面时,只需要检查页的访问位。如果是0,就选择该页换出;如果是1,则将其置为0,暂不换出,继续检查下一个页面,若第一轮扫描中的所有页面都是1,则将这些页面的访问依次置为0后,再进行第二轮扫描(第二轮扫描中一定会有访问位为0的页面,因此简单的CLOCK算法选择一个淘汰页面最多会经过两轮扫描)

改进型的时钟置换算法

简单的时钟置换算法仅考虑到一个页面最近是否被访问过。事实.上,如果被淘汰的页面没有被修改过,就不需要执行I/O操作写回外存。只有被淘汰的页面被修改过时,才需要写回外存。

因此,除了考虑一个页面最近有没有被访问过之外,操作系统还应考虑页面有没有被修改过。在其他条件都相同时,应优先淘汰没有修改过的页面,避免I/O操作。这就是改进型的时钟置换算法的思想。修改位=0,表示页面没有被修改过;修改位=1, 表示页面被修改过。

为方便讨论,用(访问位,修改位)的形式表示各页面状态。如(1,1)表示一个页面近期被访问过,且被修改过。

算法规则:将所以可能被置换的页面排成一个循环队列。

第一轮(第一优先级:最近没访问,且没有修改的页面):从当前位置开始扫描到第-一个(0,0)的帧用于替换。本轮扫描不修改任何标志位

第二轮(第二优先级:最近没访问,但修改过的页面):若第- -轮扫描失败,则重新扫描,查找第- 一个(0, 1)的帧用于替换。本轮将所有扫描过的帧访问位设为0

第三轮(第三优先级:最近访问过,但没有修改的页面):若第二轮扫描失败,则重新扫描,查找第一个(0,0) 的帧用于替换。本轮扫描不修改任何标志位

第四轮(第四优先级:最近访问过,且修改过的页面):若第三轮扫描失败,则重新扫描,查找第一个(0, 1)的帧用于替换。

由于第二轮已经将所有帧的访问位设为0,因此经过第三轮、第四轮扫描一定会有一个帧被选中,因此改进型CLOCK置换算法选择一个淘汰页面最多会进行四轮扫描。

总结
算法规则 优缺点
OPT 优先淘汰最长时间内不会被访问的页面 缺页率最小,性能最好,但无法实现
FIFO 优先淘汰最先进入内存的页面 实现简单,但性能很差,可能出现Belady异常
LRU 优先淘汰最近最久没访问的页面 性能很好;但需要硬件支持,算法开销大
CLOCK(NRU) 循环扫描各页面 第一轮淘汰访问位为0的,并将扫描过的页面访问位改为1,。若第一轮没选中,则进行第二轮扫描。 实现简单,算法开销小;但未考虑页面是否被修改过
改进型CLOCK(改进型NRU) 若用(访问位,修改位)的形式表示,则 第一轮:淘汰(0 , 0) 第二轮:淘汰(0 , 1),并将扫描过的页面访问位都置为0 第三轮:淘汰(0 , 0) 第四轮:淘汰(0 , 1) 算法开销小,性能也不错

页面分配策略

驻留集:指请求分页存储管理中给进程分配的物理块的集合。在采用了虚拟存储技术的系统中,驻留集大小一般小于进程的总大小。

若驻留集太小,会导致缺页频繁,系统要花费大量的时间来处理缺页,实际用于进程推进的时间很少;驻留集太大,又会导致多道程序并发度降低,资源利用率降低。

分配方式:

固定分配:操作系统为每个进程分配一组固定数目的物理块,在进程运行期间不再改变。即,驻留集大小不变。

可变分配:先为每个进程分配一定数目的物理块,在进程运行期间,可以根据情况做适当的增加或者减少。即,驻留集大小可变。

置换方式:

局部置换:发生缺页时只能选进程自己的物理块进行置换。

全局置换:可以将操作系统保留的空闲物理块分配给缺页进程,也可以将别的进程持有的物理块置换到外存,再分配给缺页进程。

局部置换 全局置换
固定分配 ---(全局置换意味着一个进程拥有的物理块数必然会发生改变,因此不可能是固定分配)
可变分配

**固定分配局部置换:**系统为每个进程分配-定数量的物理块,在整个运行期间都不改变。若进程在运行中发生缺页,则只能从该进程在内存中的页面中选出一-页换出,然后再调入需要的页面。这种策略的缺点是:很难在刚开始就确定应为每个进程分配多少个物理块才算合理。(采用这种 策略的系统可以根据进程大小、优先级、或是根据程序员给出的参数来确定为-一个进程分配的内存块数)

可变分配全局置换:刚开始会为每个进程分配一定数量的物理块。操作系统会保持一个空闲物理块队列。当某个进程发生缺页时,从空闲物理块中取出一块分配给该进程;若已无空闲物理块,则可以选择一个未锁定的页面换出外存,再将该物理块分配给缺页的进程。采用这种策略时,只要某进程发生缺页,都将获得新的物理块,仅当空闲物理块用完时,系统才选择一个未锁定的页面调出。被选择调出的页可能是系统中任何一个进程中的页,因此这个被选中的进程拥有的物理块会减少,缺页率会增加。

可变分配局部置换:刚开始会为每个进程分配一定数量的物理块。当某进程发生缺页时,只允许从该进程自己的物理块中选出一个进行换出外存。如果进程在运行中频繁地缺页,系统会为该进程多分配几个物理块,直至该进程缺页率趋势适当程度;反之,如果进程在运行中缺页率特别低,则可适当减少分配给该进程的物理块。

调入页面的时机

预调页策略:根据局部性原理,一次调入若干个相邻的页面可能比一次调入一个页面更高效。但如果是提前调入的页面大多数都没有访问过,则是低效的。因此可以预测不久之后可能访问到的页面,将它们预先调入内存,但目前预测成功只有50%左右。故这种策略主要用于进程的首次调入,由程序员指出应该先调入哪些部分。

请求调页策略:进程在运行期间发现缺页时才将所缺页面调入内存。由这种策略调入的页面一定会被访问到,但由于每次都只能调入一页,而且每次调页都要磁盘I/O操作,因此I/O开销较大。

系统拥有足够的对换区空间:页面的调入、调出都是在内存与对换区之间进行,这样可以保证页面的调入、调出速度很快。在进程运行前, .需将进程相关的数据从文件区复制到对换区。

系统缺少足够的对换区空间:凡是不会被修改的数据都直接从文件区调入,由于这些页面不会被修改,因此换出时不必写回磁盘,下次需要时再从文件区调入即可。对于可能被修改的部分,换出时需写回磁盘对换区,下次需要时再从对换区调入。

UNIX方式:运行之前进程有关的数据全部放在文件区,故未使用过的页面,都可从文件区调入。若被使用过的页面需要换出,则写回对换区,下次需要时从对换区调入。

抖动(颠簸)现象

刚刚换出的页面马上又要换入内存,刚刚换入的页面马上又要换出外存,这种频繁的页面调度行为称为抖动,或颠簸。产生抖动的主要原因是进程频繁访问的页面数目高于可用的物理块数(分配给进程的物理块不够)

为进程分配的物理块太少,会使进程发生抖动现象小。为进程分配的物理块太多,又会降低系统整体的并发度,降低某些资源的利用率。

工作集

工作集:指在某段时间间隔内,进程实际访问页面的集合。

工作集大小可能小于窗口尺寸,实际应用中,操作系统可以统计进程的工作集大小,根据工作集大小给进程分配若干内存块。一般来说,驻留集大小不能小于工作集大小,否则进程运行过程中将频繁缺页

基于局部性原理,进程在一段时间内访问的页面与不久之后会访问的页面是有相关性的。因此,可以根据进程近期访问的页面集合(工作集)来设计一种页面置换算法------选择一个不在工作集中的页面进行淘汰。

内存映射文件

内存映射文件是指操作系统向上层程序员提供的功能(系统调用)。其方便程序员访问文件数据,也方便多个进程共享同一个文件。

传统的文件访问方式

open 系统调用------打开文件

seek 系统调用------将读写指针移到某个位置

read 系统调用------从读写指针所指位置读入若干数据(从磁盘读入内存)

write 系统调用------将内存中的指定数据,写回磁盘(根据读写指针确定要写回什么位置)

内存映射文件的访问方式

open 系统调用------打开方式

mmap 系统调用------将文件映射到进程的虚拟地址空间

  • 内存映射文件的访问方式是以访问内存的方式访问文件数据
  • 文件数据的读入、写出由操作系统自动完成
  • 进程关闭文件时,操作系统自动将文件被修改的数据写回磁盘

多个进程可以映射同一个文件,实现共享。在物理内存中,一个文件对应同一份数据,当一个进程修改文件数据时,另一个进程可以立马得到"通知"。

特性
  1. 进程可以使用系统调用,请求操作系统将文件映射到进程的虚拟地址空间。
  2. 以访问内存的方式读写文件。
  3. 进程关闭文件时,操作系统负责将文件数据写回磁盘,并解除内存映射。
  4. 多个进程可以映射同一个文件,方便共享。
优点
  1. 程序员变成更加简单,已经建立映射的文件,只需按访问内存的方式读写即可。
  2. 文件数据的读入/写出完全由操作系统负责,I/O效率可以由操作系统负责优化。
相关推荐
懒惰的bit9 天前
STM32F103C8T6 学习笔记摘要(四)
笔记·stm32·学习
zkyqss9 天前
OVS Faucet练习(下)
linux·笔记·openstack
浦东新村轱天乐9 天前
【麻省理工】《how to speaking》笔记
笔记
奔跑的蜗牛AZ9 天前
TiDB 字符串行转列与 JSON 数据查询优化知识笔记
笔记·json·tidb
cwtlw9 天前
Excel学习03
笔记·学习·其他·excel
杭州杭州杭州9 天前
计算机网络笔记
笔记·计算机网络
cyborg9 天前
终于再也不用在notion中写公式了
笔记
循环过三天9 天前
1.2、CAN总线帧格式
笔记·stm32·单片机·嵌入式硬件·学习
循环过三天9 天前
1.1、CAN总线简介
笔记·stm32·单片机·嵌入式硬件·学习
mooyuan天天9 天前
pikachu靶场通关笔记43 SSRF关卡01-CURL(三种方法渗透)
笔记·安全·web安全·ssrf漏洞