启用内核 IOMMU 支持
- 修改
/etc/default/grub
配置文件以启用 IOMMU 支持,将GRUB_CMDLINE_LINUX_DEFAULT
修改为:
bash
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"
iommu=pt
的参数建议添加,以提高未直通设备 PCIe 的性能,PT 模式只在必要的时候开启设备的 IOMMU 转换。
- 保存并更新 GRUB 配置:
bash
update-grub
添加模块(驱动)黑名单
接着添加模块(驱动)黑名单,即让GPU设备在下次系统启动之后不使用这些驱动,把设备腾出来给vfio驱动用;
编辑 /etc/modprobe.d/pve-blacklist.conf
,禁用GPU驱动,以便vfio使用。
bash
blacklist nvidiafb
blacklist i915
blacklist snd_hda_intel
options vfio_iommu_type1 allow_unsafe_interrupts=1
参数 | 释义 |
---|---|
blacklist i915 | 屏蔽显卡驱动 |
blacklist snd_hda_intel | 屏蔽hdmi声音驱动 |
options vfio_iommu_type1 allow_unsafe_interrupts=1 | 允许不安全的设备中断 |
加载内核模块
编辑内核模块加载文件/etc/modules
,追加以下内容
bash
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd
将设备加入进vfio
- 找出VGA的设备ID,ID就是末尾的中括号内的例如[8086:4692],这个根据你实际情况。
bash
lspci -D -nnk | grep VGA
- 打开
/etc/modprobe.d/vfio.conf
配置文件然后将对应的设备ID增加上去,如果多个设备ID则用,分隔开例如ids=8086:4692,xxxx:xxxx
bash
options vfio-pci ids=8086:4692
更新重启
- 更新内核
update-initramfs -u -k all
- 更新设备id
update-pciids
- 重启
reboot
- pve中虚拟机添加PCI设备
硬件直通的一些基本参数
# 对于 Intel CPU
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt initcall_blacklist=sysfb_init pcie_acs_override=downstream,multifunction pci=nommconf"
# 其他写法
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt i915.enable_gvt=1 video=efifb:off"
# GVT 模式,即共享GPU模式,少数 CPU 支持
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt video=efifb:off"
# 独占模式,只能直通给一个虚拟机,无 PVE 控制台显示,大多CPU都支持
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_acs_override=downstream,multifunction"
# 用于拆分iommu ,以便灵活直通板载设备,并确保每个设备单独分组,防止直通导致物理机卡死。
参数 | 释义 |
---|---|
quiet | 默认参数,表示在启动过程中只显示重要信息 |
intel_iommu=on | 在虚拟化环境中,启用 IOMMU 后,可以将物理设备直通到虚拟机中,以便虚拟机可以直接访问硬件设备 |
amd_iommu=on | 用 amd_iommu 驱动来驱动 IOMMU 硬件单元 |
iommu=pt | 用于管理设备对系统内存的访问。建议添加,以提高未直通设备 PCIe 的性能 |
pci=assign-busses | 部分网卡开启 SR-IOV 需要这个参数,否则可能报错 |
nofb | 该选项允许你不用一个frame缓冲来使用图形安装程序 |
video=vesafb:off | 禁用 vesa 启动显示设备 |
video=efifb:off | 禁用 efi 启动显示设备 |
video=simplefb:off | 5.15 内核开始直通可能需要这个参数 |
initcall_blacklist=sysfb_init | 禁用 sysfb_init 内核初始化函数,以避免其在 GPU 直通时造成干扰。 |
i915.enable_gvt=1 | 启用 Intel GVT-g 以共享 GPU 给多台虚拟机;适用于支持平台,直通显卡时不添加。 |