k8s POD上RDMA网卡VF不生效问题

1、配置

multus、sriov-device-plugin、whereabouts都来自https://github.com/k8snetworkplumbingwg/

有的环境总是看不到POD内的RDMA接口，有的环境node重启后再启动的pod看不到

现象为pod内执行ifconfig看不到接口，或者kubectl describe pod pod-1中没有：

2、查看sriov-device-plugin和multus

2.1 sriov-device-plugin

pod启动后，可以看到sriov分配了RDMA网卡：

cat /var/log/sriovdp/sriovdp.INFO

...

server.go:159 AllocateResponse send: &AllocateResponNOX_COM_MLNX_SRIOV_RDMA0: 0000:27:00.1,

2.2 multus

kubectl logs kube-multus-ds-amd64-h59ln -n kube-system

可以看到生成了配置文件，根据pod的描述/host/etc/cni/net.d/映射到了/etc/cni/net.d/

但是对应目录没有这个文件，只有00-multus.conf.cilium_bak

这是被cilium改掉了

3 修改

kubectl edit cm cilium-config -n kube-system 

将cni-exclusive: "true"修改为cni-exclusive: "false"

注：cni-exclusive设置为true会把其他cni的conf文件都覆盖掉

然后重启cilium：

kubectl rollout restart daemonset/cilium -n kube-system