【C语言】用户空间使用非缓存内存

在用户空间使用非缓存内存通常不是标准做法，因为非缓存内存的操作与硬件平台紧密相关，并且通常被保留给内核模块或设备驱动程序使用。

一、方法

用户空间程序一般不直接处理非缓存内存问题，因为它们依赖于操作系统来管理内存缓存一致性。尽管如此，如果确实需要在用户空间访问非缓存内存，这里有一些可能的方法：

使用mmap()系统调用与MAP_UNCACHED标志：一些架构支持MAP_UNCACHED标志，允许将文件或设备内存映射到用户空间，而不使用缓存。但是，并非所有系统都支持此标志。
使用O_SYNC与open()和mmap()：当打开文件用于内存映射时，可以使用O_SYNC标志来确保每次写操作都直接传输到磁盘，绕过操作系统缓存。然后，可以使用mmap()将此文件映射到用户空间。
使用madvise()系统调用：madvise()系统调用允许程序为已映射的内存区域提供建议。其中的MADV_DONTNEED建议可以让操作系统知道该区域不再需要，从而释放相关的资源。虽然这不是直接的非缓存访问，但它可以用于管理已映射的内存，从而在一定程度上控制缓存行为。
使用mlock()和munlock()：这两个系统调用可以用于锁定和解锁物理内存页，防止其被交换出。虽然这并不会使内存访问变为非缓存的，但它确实可以确保特定的内存区域保持在物理内存中。
使用hugetlb文件系统：hugetlb文件系统允许程序使用大页内存，这可以绕过一些常规的页缓存机制。这需要特殊的配置和编程，但可以提供更精确的内存控制。
直接硬件访问：在某些特定的情况下，例如在嵌入式系统或驱动开发中，可能需要直接访问硬件或使用特殊的内存区域。这通常涉及到对特定设备寄存器的直接读写，完全绕过了操作系统的缓存机制。

二、示例

#include <stdio.h>  
#include <stdlib.h>  
#include <sys/mman.h>  
#include <fcntl.h>  
#include <unistd.h>  
  
int main() {  
    int fd = open("/dev/mem", O_RDWR | O_SYNC);  
    if (fd == -1) {  
        perror("Error opening /dev/mem");  
        exit(EXIT_FAILURE);  
    }  
  
    // 设置要映射的物理地址范围和映射长度  
    off_t phys_addr = 0xXYZ00000; // 替换为实际的物理地址  
    size_t length = 0x1000; // 映射的长度，可根据需要调整  
  
    // 使用 mmap() 创建非缓存内存映射  
    void *mapped_addr = mmap(NULL, length, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_UNCACHED, fd, phys_addr);  
    if (mapped_addr == MAP_FAILED) {  
        perror("Error mapping memory");  
        exit(EXIT_FAILURE);  
    }  
  
    // 现在可以使用 mapped_addr 访问非缓存内存  
    // 在此进行读写操作...  
    // 例如：*((volatile uint32_t *)mapped_addr) = 0x12345678;  
  
    // 解除映射  
    if (munmap(mapped_addr, length) == -1) {  
        perror("Error unmapping memory");  
        exit(EXIT_FAILURE);  
    }  
  
    // 关闭文件描述符  
    close(fd);  
  
    return 0;  
}

上述示例代码中，首先打开/dev/mem设备文件，获得一个文件描述符。然后，通过调用mmap()函数，将物理地址空间中的一段内存映射到用户空间的地址中。在mmap()调用中，使用MAP_UNCACHED标志来指定创建非缓存内存映射。然后，可以使用返回的mapped_addr指针来访问非缓存内存，并进行读写操作。最后，使用munmap()函数解除映射，并关闭文件描述符。

请注意，使用非缓存内存需要谨慎处理。确保你了解非缓存内存的性质和限制，并遵循正确的编程实践来避免潜在的问题。此外，非缓存内存的访问速度较快，但也存在潜在的风险，如数据一致性和缓存一致性问题。因此，在使用非缓存内存时，务必小心谨慎并充分了解相关的硬件和软件文档。

三、rdma-core中的使用例

buf->buf = mmap(NULL, buf->length, PROT_READ | PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS, -1, 0);

buf->buf: 这是一个指针，指向一个结构体中的另一个指针，该结构体可能是一个自定义的数据类型，用于保存映射区域的地址和其他相关信息。
mmap : 这是mmap系统调用的函数，用于在调用进程的地址空间中创建一个新的映射。
mmap的参数:

NULL: 这意味着让内核选择映射区域的起始地址。
buf->length : 这是映射区域的长度。它可能是一个在buf结构体中定义的变量，表示要映射的内存的大小。
PROT_READ | PROT_WRITE : 这是映射区域的保护标志。PROT_READ表示映射区域是可读的，PROT_WRITE表示映射区域是可写的。使用|操作符将这两个标志组合在一起，表示映射区域既是可读的又是可写的。
MAP_PRIVATE | MAP_ANONYMOUS : 这是映射的标志。MAP_PRIVATE表示对映射区域的修改不会写回到文件，而是写回到进程的私有拷贝中。MAP_ANONYMOUS表示映射没有关联的文件；相反，它创建了一个匿名映射，即该映射没有与任何文件相关联。
-1 : 这是文件描述符，它是一个整数，用于标识打开的文件。在这种情况下，由于我们使用了MAP_ANONYMOUS标志，所以文件描述符被设置为-1，表示没有关联的文件。
0: 这是文件的偏移量，用于指定从文件的哪个位置开始映射。由于我们使用了匿名映射，所以这个偏移量被设置为0。

综上所述，这段代码创建了一个新的匿名映射在调用进程的地址空间中，该映射区域是可读和可写的，并且是私有的（对映射区域的修改不会写回到任何文件）。然后它将映射区域的起始地址保存到buf->buf指针中。