【存储基础】NUMA架构

1. 前置知识:物理CPU和CPU核心

物理CPU是指独立的物理处理器芯片，通过插槽安装在主板上。一个物理CPU可能包含多个CPU核心、缓存、内存控制器等组件。服务器主板可支持多个物理CPU，比如双路就表明支持两个物理CPU。

CPU核心是物理CPU内部的独立计算单元，每个核心具备完整的执行能力，有自己的ALU、寄存器、L1/L2缓存等。CPU核心是物理CPU内部的子单元，不可物理拆分，每个核心可独立运行一个线程（单线程核心）或通过超线程支持多线程

可以把物理CPU理解成一个容器，一个物理CPU可以包含多个CPU核心；核心是执行单元，实际执行指令的最小物理单位。

多个核心可同时处理不同任务；同一个物理CPU内的核心共享L3缓存、内存控制器、PCIe通道。

NUMA（Non-Uniform Memory Access非统一内存访问）是一种多处理器计算机系统设计架构，旨在解决传统对称多处理器（SMP）架构中内存访问延迟和带宽瓶颈的问题。

NUMA的核心思想是将多个CPU和内存资源划分为多个节点 Node，每个结点内的CPU可以直接访问本地内存（延迟低、带宽高），而访问其他节点的内存（远端内存）则需要经过互联总线（延迟高、带宽低）。

numa架构的组成：

NUMA架构的特点：

bash 复制代码

numactl --hardware # 查看numa节点拓扑

bash 复制代码

lscpu

将数据存储在处理它的NUMA节点的本地内存中，减少跨节点访问。

实现方式：

将计算任务调度到数据所在的NUMA节点，实现"存算一体"。

实现方式：

减少网络数据包处理中的跨节点内存复制。

实现方式：

网卡绑定到NUMA节点：将网卡与NUMA节点关联，确保网卡的中断和DMA内存区域位于同一节点；
零拷贝技术：避免数据在用户态和内核态间的多次复制
例如高性能存储网络（如IB, InfiniBand）通过RDMA直接访问远端NUMA节点的内存，绕过操作系统和CPU干预。

在NUMA节点间动态平衡内存使用，避免热点和资源耗尽。

实现方式：

线程绑核是将特定线程/进程绑定到指定CPU核心上运行的机制，目的是减少上下文切换、提升缓存命中率、避免跨核心/跨NUMA节点的性能损失。

线程绑核的优势：

可使用Linux的taskset工具将线程绑定到核心；或numactl工具将线程绑定到NUMA节点。