通过命令模拟pod创建

介绍

这篇文章主要涉及到 kubelet 通过 csi 向运行时发送创建请求,运行时发生了什么?pod 网络又是怎么连通的?

对应的流量图

我们将使用 docker 和 linux Bridge 去完成这个 pod 需求

流程描述

kubelet 通过 CRI 接口调用运行时(如 containerd)创建 pod。该过程分为两步:

  1. 创建 Pod Sandbox:运行时先启动一个轻量的 pause 容器。其核心作用是调用 runc 创建并持有一个独立的 Linux Network Namespace,为 Pod 提供网络沙盒环境。
  2. 创建业务容器:运行时随后创建业务容器(如 Nginx),并通过指定 network namespace 路径,使其直接加入 pause 容器所在的 Network Namespace,从而实现网络共享。

Pod 沙盒就绪后,运行时调用 CNI 插件配置网络。插件执行如下操作:

  • 创建 veth pair,一端放入容器命名空间内(命名为 eth0),另一端连接至主机网桥(如 br0)
  • 为容器内的 eth0 分配 IP 并设置路由,网关指向网桥。
  • 配置主机 iptables 规则,实现 SNAT 以使 Pod 能访问外部网络,并设置转发规则。

实际操作

创建网桥

这个网桥充当虚拟交换机,所有 pod 流量都通过该设备传递到物理网卡

bash 复制代码
# 增加一个网卡设备
ip link add name br0 type bridge
# 向网卡设备添加地址
ip addr add 10.0.0.1/24 dev br0
# 设置网卡启动
ip link set dev br0 up
# 验证
ip a

启动 pod 外壳并劫持网络空间

bash 复制代码
# 创建pod外壳容器
docker run -itd --name my-pod --network=none docker.1ms.run/rancher/mirrored-pause:3.9
# 劫持容器网络命名空间
mkdir -p /var/run/netns
ln -sf /var/run/docker/netns/ce39ddc16db1 /var/run/netns/my-pod
# 验证
ip netns

配置 pod 网络(模拟 CNI 插件)

我们将手动模拟 CNI(bridge)插件的工作:创建 veth pair,连接容器和网桥,分配 IP,设置路由

bash 复制代码
# 创建一对虚拟以太网设备(veth pair)
# veth-pod:将留在主机默认命名空间的一端
# veth-cont:将留在容器命名空间的一端
ip link add veth-pod type veth peer name veth-cont
# 将veth-cont 放到容器命名空间内部
ip link set veth-cont netns my-pod
# 重命名veth-cont,将其改成符合容器的标准名称eth0
ip netns exec my-pod ip link set veth-cont name eth0
# 启动容器内命名空间网卡
ip netns exec my-pod ip link set eth0 up
# 为容器命名空间内的网卡配置地址要和刚才网关网卡地址一致
ip netns exec my-pod ip addr add 10.0.0.2/24 dev eth0
# 添加到网关的路由
ip netns exec my-pod ip route add default via 10.0.0.1
# 给外面这一端网卡绑定master
ip link set veth-pod master br0
# 启动外面这一端网卡
ip link set veth-pod up 
# 验证容器网络命名空间内网络环境
ip netns exec my-pod ip addr show
ip netns exec my-pod route -n
ip netns exec my-pod ping 10.0.0.1

创建业务容器

bash 复制代码
docker run -itd --name nginx-pod --network container:my-pod nginx:alpine

配置主机网络和 iptables 模拟 kubeporxy

为了让流量能进出 Pod,我们需要配置内核转发和 iptables 规则。

bash 复制代码
# 开启内核转发功能
echo 1 | sudo tee /proc/sys/net/ipv4/ip_forward
# 配置SNAT
# 解析:
#  10.244.1.0/24(Pod网段),且要从主机的物理网卡(假设是eth0)出去的流量,将其源IP伪装成主机自己的IP。
# 这样,外部网络回包时才知道送回给哪个主机
iptables -t nat -A POSTROUTING -s 10.0.0.0/24 -o eth0 -j MASQUERADE
# 添加一条 iptables DNAT 规则,将端口转发到业务网络命名空间内
# -t nat: 操作 nat 表
# -A PREROUTING: 在数据包刚到达时就进行规则判断
# -p tcp --dport 30080: 匹配协议为 TCP,且目标端口是 30080 的流量
# -j DNAT: 进行目标地址转换(DNAT)
# --to-destination 10.0.0.2:80: 将目标地址改为 Pod 的 IP 和端口
iptables -t nat -D PREROUTING -p tcp --dport 30080 -j DNAT --to-destination 10.0.0.2:80
iptables -t nat -D OUTPUT -d 127.0.0.1/32 -p tcp --dport 30080 -j DNAT --to-destination 10.0.0.2:80
iptables -t nat -I PREROUTING 1 -p tcp --dport 30080 -j DNAT --to-destination 10.0.0.2:80
iptables -t nat -I OUTPUT 1 -p tcp --dport 30080 -j DNAT --to-destination 10.0.0.2:80
# 验证规则
iptables -t nat -L POSTROUTING -n -v
# 验证访问
curl -v http://192.168.1.114:30080

清理环境

bash 复制代码
# 删除容器
docker stop 4728aeef69f8
docker stop 3041747824eb
docker rm 3041747824eb
docker rm 4728aeef69f8

重启主机

重启后所有规则默认删除

相关推荐
A-刘晨阳21 小时前
K8S 二进制集群搭建(一主两从)v1.37.2 版本
运维·云原生·容器·kubernetes·calico·nerdctl
goyeer1 天前
【Kubernetes】Kubernetes之CRI详解
java·容器·kubernetes
wz97541 天前
Kubernetes Pod 深度详解:K8s 最小调度单元
云原生·容器·kubernetes
xbzb2 天前
Kubernetes 节点删除后还有残留?drain、reset 与集群销毁重建全流程
容器·kubernetes·kubectl·集群·reset·drain
正在走向自律2 天前
Infra 现代研发基础设施实战:从 IaC、K8s 到平台工程与可观测性
云原生·容器·kubernetes·terraform·github actions·infra
AI开源软件2 天前
Kubernetes 网络实战:打通 Pod、Service 与集群外任务调度器的双向调用
docker·nacos·kubernetes·xxl-job·calico·微服务部署·ruoyi office
瑞克-桑切斯3 天前
Kubernetes 1.28 保姆级新手学习教程
运维·学习·docker·云原生·容器·kubernetes
Z21-X3 天前
云原生运维学习笔记:从操作系统底层到 Kubernetes 集群的深度实践
运维·笔记·学习·云原生·kubernetes
IT大白鼠4 天前
彭大帅的AI运维助手第 10 篇——K8s 集群探针升级记:从服务级到业务级
运维·kubernetes·aiops·彭大帅
wflynn4 天前
GitHub 今日推荐|kiri:clone3 系统调用直达容器,2.5 毫秒启动无 runc 中间层
docker·rust·kubernetes·开源·github·containers