【DeepSeek】判断两个 PCIe 设备是否属于**同一个 PCIe 子树

在 Linux 系统中，判断两个 PCIe 设备是否属于**同一个 PCIe 子树（Subtree）**是 P2P 通信的关键前提。以下是具体方法和步骤：

---

一、基本原理

两个 PCIe 设备属于同一子树的条件：

1. 共享同一 Root Port：它们的 PCIe 链路最终汇聚到同一个根端口（Root Port）。
2. 共享同一 Switch：通过同一 PCIe 交换机（Switch）连接。
3. 无 ACS 隔离：路径上不存在启用 ACS（Access Control Services）的组件。

---

二、手动判断方法（通过工具）

1. 查看 PCI 拓扑结构

使用 lspci -tv 或 lstopo 工具生成 PCIe 总线拓扑树：

# 安装必要工具
sudo apt-get install pciutils hwloc

# 显示 ASCII 拓扑树
lspci -tv

# 图形化拓扑（需 GUI 支持）
lstopo --output-format png > topology.png

输出示例：

-[0000:00]-+-00.0  Intel Corporation Xeon E5-2600 Root Port
           +-01.0-[01]----00.0  NVIDIA GPU (Device A)
           +-02.0-[02-03]----00.0  Intel PCIe Switch
           |                    +-02.0-[03]----00.0  Intel NVMe SSD (Device B)
           +-03.0-[04]----00.0  Mellanox NIC (Device C)

• Device A （GPU）和 Device C（NIC）属于不同子树（Root Port 不同）。
• Device B （NVMe）和 Switch 下游设备属于同一子树。

---

2. 检查设备上游路径

通过 sysfs 查找设备的父节点（../ 表示上级设备）：

# 查看设备 B（NVMe）的上游路径
ls -l /sys/class/pci_bus/0000:03/device/../

# 查看设备 C（NIC）的上游路径
ls -l /sys/class/pci_bus/0000:04/device/../

• 若两者最终指向同一个 Root Port（如 0000:00:02.0），则属于同一子树。

---

三、编程判断方法（内核 API）

1. 使用 pci_p2pdma_distance() 函数

内核驱动中调用此 API 直接判断：

#include <linux/pci-p2pdma.h>

struct pci_dev *dev1, *dev2;

// 返回值：
//   >0 : 设备在同一子树（值为跳数，越小距离越近）
//   -ENXIO : 不在同一子树
int distance = pci_p2pdma_distance(dev1, dev2, true);
if (distance < 0)
    pr_err("Devices are not in the same PCIe subtree\n");

---

2. 遍历父节点链表

手动检查设备祖先节点：

struct pci_dev *dev1_parent = dev1->bus->self;
struct pci_dev *dev2_parent = dev2->bus->self;

// 递归向上查找共同祖先
while (dev1_parent && dev1_parent != dev2_parent) {
    dev1_parent = dev1_parent->bus->self;
    dev2_parent = dev2_parent->bus->self;
}

if (dev1_parent == dev2_parent)
    pr_info("Devices share a common ancestor: %s\n",
            pci_name(dev1_parent));

---

四、关键验证条件

1. 检查 ACS 能力

若路径上的 Switch 启用了 ACS（Access Control Services），即使物理路径存在，P2P 也可能被阻断：

# 查看 Switch 的 ACS Capability
lspci -vvv -s 00:02.0 | grep ACS
# 输出示例：
Capabilities: [160 v1] Access Control Services
    ACS Capability: ACS Source Validation, ACS Translation Blocking

• 需关闭 ACS ：通过内核参数 pci=disable_acs_redir 或 BIOS 设置。

---

2. 验证 IOMMU 隔离状态

若系统启用 IOMMU/SMMU，需确保 P2P 路径绕过隔离：

# 查看 IOMMU 分组
dmesg | grep iommu
# 理想输出：
AMD-Vi: Device 0000:03:00.0 in group 1
AMD-Vi: Device 0000:04:00.0 in group 1  # 同一组表示可绕过隔离

---

五、自动化脚本示例

通过脚本解析 lspci 输出，判断设备是否在同一子树：

#!/bin/bash
# 用法：check_pcie_subtree.sh <device1_BDF> <device2_BDF>
# 示例：check_pcie_subtree.sh 0000:03:00.0 0000:04:00.0

get_root_port() {
    local bdf=$1
    local parent=$(readlink -f /sys/bus/pci/devices/$bdf | sed 's#.*/##')
    while [[ $parent != 0000:00:* ]]; do
        parent=$(dirname $(readlink -f /sys/bus/pci/devices/$parent/..))
        parent=${parent##*/}
    done
    echo $parent
}

root1=$(get_root_port $1)
root2=$(get_root_port $2)

[[ $root1 == $root2 ]] && echo "Same PCIe Subtree (Root: $root1)" || echo "Different Subtree"

---

六、注意事项

1. 硬件限制：某些 Root Complex 或 Switch 可能物理上隔离子树。
2. 虚拟化环境：虚拟机中 PCIe 设备可能被虚拟化层重新映射。
3. 热插拔支持：动态添加/移除设备可能改变拓扑结构。

通过上述方法，可以准确判断 PCIe 设备的子树归属，为 P2P 通信提供硬件拓扑依据。