【每天学习一点点】MPI是什么?

MPI(Message Passing Interface,消息传递接口)是一种用于并行计算的通信标准,它定义了一套跨语言的编程接口,让多个计算节点(如多台服务器、多个CPU/GPU)之间通过"发消息"的方式协同工作。


核心概念

MPI 不是编程语言,而是一套通信协议和库的规范。它的核心思想是:

  • 每个计算节点拥有独立的内存空间(分布式内存模型)
  • 节点之间不能直接访问彼此的内存,必须通过显式的消息传递来交换数据
  • 一个 MPI 程序由多个并发执行的进程组成,每个进程有自己的编号(rank)

打个比方:MPI 就像一群人在不同房间里各自工作,他们不能直接看对方桌上的文件,只能通过"递纸条"(消息传递)来沟通协作。


MPI 的核心操作

操作 说明 示例
点对点通信 一个进程给另一个进程发消息 MPI_Send / MPI_Recv
广播 一个进程把数据发给所有进程 MPI_Bcast
归约 所有进程的数据汇总(求和、求最大值等) MPI_Reduce / MPI_Allreduce
屏障同步 所有进程在此处等待,直到全部到达才继续 MPI_Barrier
集合通信 多个进程之间的批量数据交换 MPI_Allgather

MPI 在深度学习中的角色

在大规模训练场景下,模型往往需要分布在几十甚至上百台机器 上训练。MPI 在这里扮演的是跨节点通信的底层基础设施:

  • 梯度同步 :每台机器各自计算梯度后,通过 MPI 的 Allreduce 操作将所有机器的梯度汇总,保证模型参数一致
  • 数据分发:将大规模数据集切分到不同节点上
  • 集合通信库 NCCL:NVIDIA 的 NCCL(用于 GPU 间通信)底层在很多场景中也与 MPI 协同工作

主流 MPI 实现

实现 特点
Open MPI 开源,社区活跃,广泛使用
MPICH 经典实现,很多商业 MPI 基于它
Intel MPI Intel 优化版,对 Intel 硬件性能更好
MVAPICH2 针对 InfiniBand 高速网络优化

一个简单的 MPI 程序示例

c 复制代码
#include <mpi.h>
#include <stdio.h>

int main(int argc, char** argv) {
    MPI_Init(&argc, &argv);          // 初始化 MPI 环境
    
    int rank, size;
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);  // 获取当前进程编号
    MPI_Comm_size(MPI_COMM_WORLD, &size);  // 获取总进程数
    
    printf("Process %d of %d\n", rank, size);
    
    MPI_Finalize();                  // 清理 MPI 环境
    return 0;
}

编译和运行:

bash 复制代码
mpicc hello.c -o hello
mpirun -np 4 ./hello

输出:

复制代码
Process 0 of 4
Process 1 of 4
Process 2 of 4
Process 3 of 4

相关推荐
小杨小杨、努力变强!15 小时前
python学习笔记
笔记·学习
Star(up up up)21 小时前
Redis Windows 安装教程:使用Windows 的 Redis 压缩包
redis·笔记·学习·程序人生·云原生·学习方法·改行学it
乌暮1 天前
Spring AOP 与 Spring 事务:用大白话彻底理解原理与实践
java·数据库·spring boot·后端·sql·学习·spring
蒸蒸yyyyzwd1 天前
从邓明学习的后端笔记
笔记·学习
机器学习之心1 天前
基于变量相关图与残差学习的 GCN 多变量回归方法——混凝土 28 天抗压强度预测
学习·回归·gcn
Rabitebla2 天前
【Linux】进程控制(十二) 自定义 Shell(二):内建命令与进程工作目录管理
linux·c++·笔记·学习·bash
Gary移动存储固件2 天前
eMMC5.1协议中文学习讲解(6.6.17~6.6.22.4.6)
学习·ufs·emmc·nand·存储固件
一个天蝎座 白勺 程序猿2 天前
别让收藏夹替你学习:我搭AI知识体系的完整方法,脚本直接拿去用
人工智能·学习·ai·ai学习
楚山之石2 天前
【Nat Biomed Eng】Connectome 2.0 超高梯度扫描仪:500 mT/m 与 600 T/m/s 把活体人脑微观结构分辨推进到亚微米级
图像处理·学习·数据分析·mri
坤坤子吖2 天前
Linux网络编程:TCP 粘包与半包问题,如何正确处理 TCP 流式数据?
linux·服务器·网络·笔记·网络协议·学习