Kafka 同时使用了 mmap 和 sendfile，且严格按场景差异化部署 ：mmap 用于本地日志文件的读写（生产 / 消费核心路径） ，sendfile 用于跨 Broker 的数据传输（副本同步 / 远程消费），两者结合 SG-DMA 实现极致的 I/O 性能。
一、mmap：Kafka 本地日志读写的核心
1. 使用场景
Kafka 的消息存储以 "日志段（Log Segment）" 为单位（文件形式），生产者写入消息、消费者读取本地消息 时，核心依赖 mmap：
- 生产者：将日志文件映射到内核 / 用户态共享内存，直接写入映射区域（无 CPU 拷贝），底层由 SG-DMA 异步刷盘；
- 消费者：读取本地日志时，直接访问 mmap 映射的内存区域，无需通过 read 系统调用拷贝数据到用户态。
2. 选择 mmap 的核心原因
- 需随机读写 + 高频小批量操作：Kafka 的日志段支持按 offset 随机读取，mmap 的内存映射特性可灵活支持这种操作（sendfile 仅适用于单向顺序传输）；
- 内存复用：映射后的内存由内核管理，可复用页缓存，减少磁盘 I/O 次数；
- 适配日志段的碎片化：mmap 映射的虚拟连续、物理离散内存，可通过 SG-DMA 直接传输，无需 CPU 拼接。
二、sendfile：Kafka 跨 Broker 数据传输的最优解
1. 使用场景
当 Kafka 需要同步副本（Leader→Follower） 或消费者从远程 Broker 拉取消息 时，使用 sendfile：
- 流程：本地日志文件的内核缓冲区数据 → sendfile 内核态直接转发到 Socket 缓冲区 → SG-DMA 传输到网卡 → 目标 Broker；
- 全程无用户态参与，仅 1 次系统调用，比 mmap+write 少一次系统调用开销。
2. 选择 sendfile 的核心原因
- 纯 "数据转发" 场景：跨 Broker 传输无需修改消息内容，仅需单向顺序传输，sendfile 比 mmap 更轻量（无内存映射开销）；
- 避免用户态切换：数据全程在内核态流转，彻底消除 CPU 拷贝，适配 Kafka 高吞吐的副本同步需求。
三、Kafka 技术选型对比表（面试必背）
| 技术 | 使用场景 | 核心优势 | 底层依赖 |
|---|---|---|---|
| mmap | 本地日志段的生产 / 消费（读写操作） | 支持随机读写，适配高频小批量消息操作 | SG-DMA + 页缓存 |
| sendfile | 跨 Broker 副本同步 / 远程消费（转发） | 全程内核态，系统调用最少，吞吐最高 | SG-DMA |
总结
- Kafka 并非二选一，而是场景化组合：mmap 适配本地灵活读写，sendfile 适配跨节点纯转发；
- 核心底层支撑：两者均依赖 SG-DMA 实现硬件级零拷贝，消除 CPU 数据搬运；
- 面试答题关键点：Kafka 选 mmap 是因为需随机读写，选 sendfile 是因为跨节点转发无需用户态参与，这是其高吞吐的核心原因之一。