零拷贝 IPC：用内存映射文件打造 .NET 高性能进程间通信队列

引言

在现代多进程系统中，进程间通信（IPC）是实现模块解耦、资源隔离和横向扩展的关键技术。传统的 IPC 方式如命名管道（Named Pipes）、TCP 套接字或 WCF 虽然成熟，但在高吞吐、低延迟场景下往往受限于内核缓冲区复制、序列化开销等问题。

内存映射文件（Memory-Mapped Files, MMF）提供了一种"零拷贝"共享内存机制，允许多个进程直接读写同一块物理内存区域，从而极大提升通信效率。本文将展示如何在 .NET（.NET 6+）中利用 MemoryMappedFile 构建一个线程安全、跨进程的环形队列（Ring Buffer），用于高性能消息传递。

内存映射文件简介

.NET 提供了 System.IO.MemoryMappedFiles 命名空间，其中核心类型包括：

MemoryMappedFile：表示内存映射文件对象。
MemoryMappedViewAccessor / MemoryMappedViewStream：用于访问映射区域。

通过创建命名的内存映射文件，不同进程可打开同一个映射区域，实现共享内存通信。

设计思路：基于环形缓冲区的 IPC 队列

我们设计一个固定大小的环形缓冲区，包含以下关键元素：

缓冲区数据区：存储实际消息（字节数组）。
头指针（Head）：下一个要读取的位置。
尾指针（Tail）：下一个要写入的位置。
消息长度前缀：每个消息前附加 4 字节长度（int32），便于解析边界。
同步原语：使用命名互斥体（Mutex）或信号量（Semaphore）保证多进程并发安全。

为简化，本文使用 互斥锁 + 自旋重试 实现基本同步（生产环境建议结合事件通知优化性能）。

核心实现

1. 定义共享内存布局

假设最大消息大小为 1KB，队列总容量为 1MB：

复制代码

public const int MAX_MESSAGE_SIZE = 1024;
public const int BUFFER_SIZE = 1024 * 1024; // 1MB
public const int HEADER_SIZE = sizeof(int); // 消息长度前缀

共享内存结构如下：

复制代码

[Head (8 bytes)][Tail (8 bytes)][Data Buffer (BUFFER_SIZE)]

注意：使用 long（8 字节）存储指针，避免 32/64 位对齐问题。

2. 创建/打开内存映射文件

复制代码

public class MmfIpcQueue
{
    private readonly MemoryMappedFile _mmf;
    private readonly MemoryMappedViewAccessor _accessor;
    private readonly Mutex _mutex;
    private readonly string _mutexName;

    private const long HEAD_OFFSET = 0;
    private const long TAIL_OFFSET = 8;
    private const long DATA_OFFSET = 16;

    public MmfIpcQueue(string name)
    {
        _mmf = MemoryMappedFile.CreateOrOpen(name, DATA_OFFSET + BUFFER_SIZE);
        _accessor = _mmf.CreateViewAccessor();
        _mutexName = $"MMF_IPC_MUTEX_{name}";
        _mutex = new Mutex(false, _mutexName);
    }
}

3. 写入消息（Enqueue）

复制代码

public bool TryEnqueue(byte[] message)
{
    if (message.Length > MAX_MESSAGE_SIZE)
        throw new ArgumentException("Message too large");

    _mutex.WaitOne();
    try
    {
        long head = _accessor.ReadInt64(HEAD_OFFSET);
        long tail = _accessor.ReadInt64(TAIL_OFFSET);

        int required = HEADER_SIZE + message.Length;
        long nextTail = (tail + required) % BUFFER_SIZE;

        // 检查是否追上 head（缓冲区满）
        if (nextTail == head && tail != head)
            return false; // 队列满

        // 写入长度 + 数据
        _accessor.Write(DATA_OFFSET + tail, message.Length);
        _accessor.WriteArray(DATA_OFFSET + tail + HEADER_SIZE, message, 0, message.Length);

        // 更新 tail
        _accessor.WriteInt64(TAIL_OFFSET, nextTail);
        return true;
    }
    finally
    {
        _mutex.ReleaseMutex();
    }
}

4. 读取消息（Dequeue）

复制代码

public bool TryDequeue(out byte[]? message)
{
    message = null;
    _mutex.WaitOne();
    try
    {
        long head = _accessor.ReadInt64(HEAD_OFFSET);
        long tail = _accessor.ReadInt64(TAIL_OFFSET);

        if (head == tail)
            return false; // 队列空

        int length = _accessor.ReadInt32(DATA_OFFSET + head);
        message = new byte[length];
        _accessor.ReadArray(DATA_OFFSET + head + HEADER_SIZE, message, 0, length);

        long nextHead = (head + HEADER_SIZE + length) % BUFFER_SIZE;
        _accessor.WriteInt64(HEAD_OFFSET, nextHead);

        return true;
    }
    finally
    {
        _mutex.ReleaseMutex();
    }
}

使用示例

进程 A（生产者）：

复制代码

using var queue = new MmfIpcQueue("MyQueue");
queue.TryEnqueue(Encoding.UTF8.GetBytes("Hello from Process A!"));

进程 B（消费者）：

复制代码

using var queue = new MmfIpcQueue("MyQueue");
if (queue.TryDequeue(out var msg))
{
    Console.WriteLine(Encoding.UTF8.GetString(msg));
}

性能与注意事项

优势

零拷贝：消息直接在共享内存中读写，无内核缓冲区复制。
低延迟：微秒级通信延迟。
跨语言兼容：只要约定内存布局，C/C++、Rust 等也可接入。

注意事项

同步开销：频繁加锁会影响吞吐。可考虑无锁环形缓冲区（需原子操作支持）。
生命周期管理：确保所有进程退出后清理 MMF（Windows 下重启可自动回收）。
异常安全：进程崩溃可能导致互斥体未释放，需加入超时或看门狗机制。
内存对齐：确保读写偏移按平台要求对齐（x64 通常 8 字节对齐）。

扩展方向

支持多生产者/多消费者（MPMC）。
引入事件通知（如 EventWaitHandle）避免轮询。
添加 CRC 校验或版本号防止数据错乱。
封装为 IProducerConsumerCollection<T> 以兼容 BlockingCollection。

结语

内存映射文件为 .NET 开发者提供了一条通往极致 IPC 性能的路径。虽然实现比管道或套接字复杂，但在高频交易、实时日志聚合、游戏服务器等场景中，其低延迟、高吞吐的优势无可替代。合理设计同步机制与内存布局，你就能构建出媲美 C++ 的高效跨进程通信系统。