k8s 中使用 Service 访问时NetworkPolicy不生效问题排查

背景

针对一个服务如下NetworkPolicy, 表示只有n9e命名空间的POD才能访问 k8s-man 服务

yaml 复制代码
kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
  name: k8s-man
  namespace: n9e
  labels:
    app: k8s-man
    version: v1
spec:
  podSelector:
    matchLabels:
      app: k8s-man
      version: v1
  ingress:
    - ports:
        - protocol: TCP
      from:
        - namespaceSelector:
            matchLabels:
              project: n9e
        - ipBlock:
            cidr: 172.16.239.0/24
        - ipBlock:
            cidr: 172.16.46.0/24
  policyTypes:
    - Ingress

NetworkPolicy 创建后, 在n9e命名空间中发现使用POD的IP访问 k8s-man服务是可以的, 但是使用 service 不行

排查过程

进入 k8s-man所在的Node节点.

执行 iptables -L | grep k8s-man

找到

复制代码
MARK       tcp  --  anywhere             anywhere             /* cali:vXxAzmXgtXdiHYG_ */ /* Policy n9e/knp.default.k8s-man ingress */ match-set cali40s:SgNpHWMUr8ifdpNh8A29AuF src MARK or 0x10000

确认使用的式cali40s:SgNpHWMUr8ifdpNh8A29AuF 这个ipset

执行 ipset list cali40s:SgNpHWMUr8ifdpNh8A29AuF

得到如下结果:

复制代码
[root@node3 ~]# ipset list cali40s:SgNpHWMUr8ifdpNh8A29AuF
Name: cali40s:SgNpHWMUr8ifdpNh8A29AuF
Type: hash:net
Revision: 6
Header: family inet hashsize 1024 maxelem 1048576
Size in memory: 888
References: 1
Number of entries: 8
Members:
172.16.139.213
172.16.143.67
172.16.178.43
172.16.178.37
172.16.239.190
172.16.85.24
172.16.46.157
172.16.139.237

发现对应的Ip是n9e 命名空间下pod的IP。

猜测是经过service 后发生了NAT转换,Ip成了源POD所在节点的的容器IP端。

修改网络策略如下, 172.16.239.0/24 和 172.16.46.0/24 是源POD节点的容器网段:

yaml 复制代码
kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
  name: k8s-man
  namespace: n9e
  labels:
    app: k8s-man
    version: v1
spec:
  podSelector:
    matchLabels:
      app: k8s-man
      version: v1
  ingress:
    - ports:
        - protocol: TCP
      from:
        - namespaceSelector:
            matchLabels:
              project: n9e
        - ipBlock:
            cidr: 172.16.239.0/24
        - ipBlock:
            cidr: 172.16.46.0/24
  policyTypes:
    - Ingress

说明通过service访问的话,源IP经过的NAT转换成了源POD所在节点上的容器IP,导致 NetworkPolicy不生效。

相关推荐
孤的心了不冷1 分钟前
【Docker】CentOS 8.2 安装Docker教程
linux·运维·docker·容器·eureka·centos
头疼的程序员1 小时前
docker学习与使用(概念、镜像、容器、数据卷、dockerfile等)
学习·docker·容器
淡水猫.1 小时前
hbit资产收集工具Docker(笔记版)
运维·docker·容器
alden_ygq9 小时前
K8S cgroups详解
容器·贪心算法·kubernetes
旧故新长10 小时前
访问 Docker 官方镜像源(包括代理)全部被“重置连接”或超时
运维·docker·容器
matrixlzp10 小时前
K8S Gateway AB测试、蓝绿发布、金丝雀(灰度)发布
kubernetes·gateway·ab测试
云攀登者-望正茂15 小时前
最大化效率和性能:AKS 中节点池的强大功能
云原生·容器·kubernetes
haven-85215 小时前
win11安装Joplin Server私有化部署(docker)
运维·docker·容器
QX_hao15 小时前
【docker】--数据卷挂载
docker·容器·eureka