【C++高并发服务器WebServer】-5：内存映射与进程通信

本文目录

一、内存映射与进程通信
二、匿名映射与进程通信

一、内存映射与进程通信

内存映射Memory-mapped I/O指的是将磁盘文件的数据映射到内存，用户通过修改内存就能够修改磁盘文件，如下图所示（进程地址空间指的是虚拟地址空间）。

如果两个进程都对同一块文件进行内存映射，也可以达到进程通信（进程之间有无关系都可以实现）的效果。

如果两个进程都使用了 MAP_SHARED 标志，那么它们共享同一块物理内存区域。这意味着操作系统会将文件的内容加载到物理内存中，并将两个进程的虚拟地址空间中的相应地址映射到同一块物理内存。

当一个进程修改了共享内存区域中的数据时，这些修改会反映到物理内存中，其他进程访问时也会看到这些修改。

虚拟地址空间本身并不是"加载"到物理内存中的。虚拟地址空间是一个逻辑上的地址范围，由操作系统管理。物理内存是实际存储数据的地方。当进程访问虚拟地址空间中的某个地址时，操作系统会通过页表将虚拟地址映射到物理内存地址。如果物理内存不足，操作系统会将一些不常用的页面交换到磁盘上的交换空间（Swap Space）中，以释放物理内存供其他用途。虚拟地址空间中的地址并不是直接对应物理内存的地址，而是通过页表（Page Table）映射到物理内存或其他存储设备（如磁盘）。

打个比方，假设现在有两个进程：
进程1：虚拟地址空间中的地址范围 [0x1000, 0x2000) 被映射到文件 shared_file。操作系统将这个虚拟地址范围映射到物理内存中的某个区域，例如 [0x10000, 0x11000)。
对于进程2：进程2：虚拟地址空间中的地址范围 [0x3000, 0x4000) 也被映射到文件 shared_file。操作系统将这个虚拟地址范围映射到相同的物理内存区域 [0x10000, 0x11000)。

下面是内存映射相关系统的调用。

cpp 复制代码

#include <sys/mman.h>
void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t
offset);
int munmap(void *addr, size_t length);

我们来使用个简单的案例demo来看看如何通过内存映射进行进程通信。

首先创建实现mmap的代码，然后在同级目录下写一个test.txt文件，里面可以写任意数据。

cpp 复制代码

/*
    #include <sys/mman.h>
    void *mmap(void *addr, size_t length, int prot, int flags,int fd, off_t offset);
        - 功能：将一个文件或者设备的数据映射到内存中(在当前调用进程的虚拟地址空间中)
        - 参数：
            - void *addr: NULL, 由内核指定
            - length : 要映射的数据的长度，这个值不能为0。建议使用文件的长度。
                    获取文件的长度：stat lseek（默认取分页的大小）
            - prot : 对申请的内存映射区的操作权限
                -PROT_EXEC ：可执行的权限
                -PROT_READ ：读权限
                -PROT_WRITE ：写权限
                -PROT_NONE ：没有权限
                要操作映射内存，必须要有读的权限。
                PROT_READ、PROT_READ|PROT_WRITE（Read按位或Write）
            - flags :
                - MAP_SHARED : 映射区的数据会自动和磁盘文件进行同步，进程间通信，必须要设置这个选项
                - MAP_PRIVATE ：不同步，内存映射区的数据改变了，对原来的文件不会修改，会重新创建一个新的文件。（copy on write）
            - fd: 需要映射的那个文件的文件描述符
                - 通过open得到，open的是一个磁盘文件
                - 注意：文件的大小不能为0，open指定的权限不能和prot参数有冲突。
                    prot: PROT_READ                open:只读/读写 
                    prot: PROT_READ | PROT_WRITE   open:读写
            - offset：偏移量，一般不用。必须指定的是4k的整数倍，0表示不偏移。
        - 返回值：返回创建的内存的首地址
            失败返回MAP_FAILED，(void *) -1

    int munmap(void *addr, size_t length);
        - 功能：释放内存映射
        - 参数：
            - addr : 要释放的内存的首地址
            - length : 要释放的内存的大小，要和mmap函数中的length参数的值一样。
*/

/*
    使用内存映射实现进程间通信：
    1.有关系的进程（父子进程）
        - 还没有子进程的时候
            - 通过唯一的父进程，先创建内存映射区
            - 子进程会继承父进程的虚拟内存空间，包括所有已映射的内存区域。
            如果先创建子进程，再在父进程中创建内存映射区，
            那么子进程将无法访问这个映射区，因为它是在子进程创建之后才被创建的。
        - 有了内存映射区以后，创建子进程
        - 父子进程共享创建的内存映射区
    
    2.没有关系的进程间通信
        - 准备一个大小不是0的磁盘文件
        - 进程1 通过磁盘文件创建内存映射区
            - 得到一个操作这块内存的指针
        - 进程2 通过磁盘文件创建内存映射区
            - 得到一个操作这块内存的指针
        - 使用内存映射区通信

    注意：内存映射区通信，是非阻塞。
*/
#include <stdio.h>
#include <sys/mman.h>
#include <fcntl.h>
#include <sys/types.h>
#include <unistd.h>
#include <string.h>
#include <stdlib.h>
#include <wait.h>

int main() {

    // 1.打开一个文件
    int fd = open("test.txt", O_RDWR);
    int size = lseek(fd, 0, SEEK_END);  // 获取文件的大小

    // 2.创建内存映射区
    void *ptr = mmap(NULL, size, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
    //MAP_FAILED是一个宏，通常是一个空指针（NULL）或者一个特殊的无效地址。
    if(ptr == MAP_FAILED) {
        perror("mmap");
        exit(0);
    } 

    // 3.创建子进程
    pid_t pid = fork();
    if(pid > 0) {
        wait(NULL);
        // 父进程
        char buf[64];

        //strcpy的原型；char *strcpy(char *dest, const char *src);
        //buf 是目标字符串的指针，类型为 char *。
        //ptr 是 void * 类型，而strcpy的第二个参数需要的是 const char *类型
        //所以进行了强制转换。
        strcpy(buf, (char *)ptr); //strncpy 会在遇到 \0 时停止拷贝
        printf("read data : %s\n", buf);
       
    }else if(pid == 0){
        // 子进程
        strcpy((char *)ptr, "nihao a, son!!!");
    }

    // 关闭内存映射区
    munmap(ptr, size);

    return 0;
}

下面是一些使用内存映射的注意事项：

如果对mmap的返回值(ptr)做++操作(ptr++), munmap是否能够成功？

可以对ptr进行++操作，但是munmap会错误，需要提前保存++前的内存地址
如果open时O_RDONLY, mmap时prot参数指定 PROT_READ | PROT_WRITE 会怎样？

错误，会返回 MAP_FAILED （即，void* -1）

open() 函数中的权限建议和prot参数的权限保持一致。
如果文件偏移量为1000会怎样？

偏移量必须是4k的整数倍，返回MAP_FAILED (分页大小)
mmap什么情况下会调用失败？
- 第二个参数： length = 0
- 第三个参数： prot权限有问题
  - 只指定了写权限
  - prot PROT_READ | PROT_WRITE
    第五个参数fd 通过open函数时未指定 O_RDONLY | O_WRONLY
可以open的时候O_CREATE一个新文件来创建映射区吗？
- 可以，但是创建文件大小为0的话，肯定不行
- 可以对新的文件进行扩展
  - lseek()
  - truncate()
mmap后关闭文件描述符，对mmap映射有没有影响？

int fd = open("xxx")

mmap(, fd, 0);

close(fd);

映射区还存在，创建映射区的fd被关闭，没有任何影响
对ptr越界操作会怎样？

越界操作，操作的是非法内存，-> 段错误

接下来我们实现一个使用内存映射来完成文件拷贝的功能demo：

cpp 复制代码

/*
    基于内存映射实现文件的拷贝功能
    思路：
        1、对原始文件进行内存映射。
        2、创建一个新文件（拓展该文件）
        3、把新文件的数据映射到内存中。
        3、通过内存拷贝将第一个文件的内存数据拷贝到新的文件内存中。 
        5、释放资源。
*/

#include<stdio.h>
#include<sys/mman.h>
#include<sys/types.h>
#include<sys/stat.h>
#include<fcntl.h>
#include<unistd.h>
#include<string.h>
#include<stdlib.h>


int main(){


    int fd = open("english.txt",O_RDWR);
    if (fd == -1){
        perror("open");
        exit(0);
    }
    int len = lseek(fd,0,SEEK_END);


    int fd1 =open("cpy.txt",O_RDWR | O_CREAT,0664);
    if(fd1==-1){
        perror("open");
    }
    truncate("cpy.txt",len);
    write(fd1,"",1);


    //分别做一个内存映射
    void *ptr = mmap(NULL,len,PROT_READ | PROT_WRITE,MAP_SHARED,fd,0);
    void *ptr1 = mmap(NULL,len,PROT_READ | PROT_WRITE,MAP_SHARED,fd1,0);
    if(ptr==MAP_FAILED){
        perror("ptr");
        exit(0);
    }
    if(ptr1==MAP_FAILED){
        perror("ptr1");
        exit(0);
    }
    //执行内存拷贝
    memcpy(ptr1,ptr,len);
    //释放资源+关闭
    munmap(ptr1,len);
    munmap(ptr,len);
    close(fd1);
    close(fd);
    return 0;
}

二、匿名映射与进程通信

匿名映射（Anonymous Mapping）是 mmap 函数的一种特殊用法，它不与任何文件关联，而是直接在进程的虚拟地址空间中分配一块内存区域。这种映射方式常用于创建匿名共享内存或分配动态内存。

匿名映射的初始内容通常被清零（即所有字节都设置为 0）匿名映射不涉及任何文件描述符（fd），因此不会从文件中加载数据。它直接在进程的虚拟地址空间中分配一块内存区域。

匿名映射可以用于动态分配内存，类似于 malloc，但更灵活。它可以直接在虚拟地址空间中分配内存，而不需要通过堆分配器。

cpp 复制代码

/*
    匿名映射：不需要文件实体进程一个内存映射
*/

#include <stdio.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <string.h>
#include <stdlib.h>
#include <sys/wait.h>

int main() {

    // 1.创建匿名内存映射区
    int len = 4096;
    void * ptr = mmap(NULL, len, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_ANONYMOUS, -1, 0);
    if(ptr == MAP_FAILED) {
        perror("mmap");
        exit(0);
    }

    // 父子进程间通信
    pid_t pid = fork();

    if(pid > 0) {
        // 父进程
        strcpy((char *) ptr, "hello, world");
        wait(NULL);
    }else if(pid == 0) {
        // 子进程
        sleep(1);
        printf("%s\n", (char *)ptr);
    }

    // 释放内存映射区
    int ret = munmap(ptr, len);

    if(ret == -1) {
        perror("munmap");
        exit(0);
    }
    return 0;
}