使用容器启动的kubelet无法使用subPathExpr

验证subpathexpr功能 ,在pod 的yaml文件中,把pod name 以变量方式取出来,作为存储卷上的子目录来使用。这样在可以方便在一台服务器上运行多个相同的pod,且日志文件能够写入以各自pod名字创建的目录中,隔离了日志文件方便后续作为日志采集使用。虽然这种使用上不够合理,但作为一种过渡阶段的日志采集服务,也是能够接受。

使用如下yaml文件创建一个pod,需要在运行pod的服务器的/data/目录下创建一个pod1的目录,并在里面写入hello.txt文件

apiVersion: v1
kind: Pod
metadata:
  name: pod1
spec:
  containers:
  - name: container1
    env:
    - name: POD_NAME
      valueFrom:
        fieldRef:
          apiVersion: v1
          fieldPath: metadata.name
    image: busybox
    command: [ "sh", "-c", "while [ true ]; do echo 'Hello'; sleep 10; done | tee -a /logs/hello.txt" ]
    volumeMounts:
    - name: workdir1
      mountPath: /logs
      subPathExpr: $(POD_NAME)
  restartPolicy: Never
  volumes:
  - name: workdir1
    hostPath:
      path: /data

运行yaml文件

[root@xm-nano-k8s-master-113-59 ~]# kubectl apply -f pod1.yaml

验证结果:

[root@xm-phy-kvm-113-4 ~]# ll /data/
总用量 0
-rw-r--r--. 1 root root 0 8月  11 20:36 test
[root@xm-phy-kvm-113-4 ~
[root@xm-phy-kvm-113-4 ~]# find / -name "hello.txt"
/var/lib/docker/overlay2/fe03649ea9a5110b12909f14176daa9836ad64937b303402c04ee96673f95c26/diff/data/pod1/hello.txt
/var/lib/docker/overlay2/fe03649ea9a5110b12909f14176daa9836ad64937b303402c04ee96673f95c26/merged/data/pod1/hello.txt

/data目录没有创建pod1目录,反而是在/var/lib/docer/.../date/目录下创建。

结果不符合预期。。。无语ing。

后面经过一番的查找在github上找到这个 issue:

https://github.com/kubernetes/kubernetes/issues/61456

原来是是早期 k8s 不会对 subPath 做检查,于是就存在一个漏洞,用户可以搞一个软链接,让容器可以访问任何宿主机上的目录,后来修复了这个漏洞 https://kubernetes.io/blog/2018/04/04/fixing-subpath-volume-vulnerability/,

就导致容器方式(containerized)运行的 kubelet,用 subPath (或 subPathExpr)后创建的目录就跑到 kubelet 的容器里。

如果 kubelet 是你自己部署的,实验结果如预期所想在对应的目录创建pod名字的目录。如果kubelet是容器启动的那就gg,无法实现该功能。

解决方式一:

就是不用 subPath(subPathExpr 同),而是新个 initContainer 来创建目录。

apiVersion: v1  
kind: Pod  
metadata:  
  name: pod1  
spec:  
  initContainers:  
  - name: init-logs  
    image: busybox
    imagePullPolicy: IfNotPresent
    command: ["sh", "-c", "mkdir -p /logs/$(POD_NAME) && chmod 777 /logs/$(POD_NAME)"]  
    env:  
    - name: POD_NAME  
      valueFrom:  
        fieldRef:  
          fieldPath: metadata.name  
    volumeMounts:  
    - name: workdir1  
      mountPath: /logs
  containers:  
  - name: container1  
    image: busybox  
    command: ["sh", "-c", "while true; do echo 'Hello from $(POD_NAME)'; sleep 10; done | tee -a /logs/$(POD_NAME)/hello_$(POD_NAME).txt"]  
    env:  
    - name: POD_NAME  
      valueFrom:  
        fieldRef:  
          fieldPath: metadata.name  
    volumeMounts:  
    - name: workdir1  
      mountPath: /logs 
  volumes:  
  - name: workdir1  
    hostPath:  
      path: /data

[root@xm-phy-kvm-113-4 data]# ll
总用量 4
-rw-r--r--. 1 root root 1212 8月  12 11:08 hello.txt
drwxrwxrwx. 2 root root   29 8月  12 11:07 pod10
[root@xm-phy-kvm-113-4 data]# ll pod10
总用量 4
-rw-r--r--. 1 root root 119 8月  12 11:08 hello_pod10.txt
[root@xm-phy-kvm-113-4 data]#

deployment版本

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    run: subpath
  name: subpathtest
spec:
  replicas: 2
  selector:
    matchLabels:
      run: subpath
  template:
    metadata:
      labels:
        run: subpath
    spec:
      initContainers:
      - name: init-logs
        image: busybox
        imagePullPolicy: IfNotPresent
        command: ["sh", "-c", "mkdir -p /logs/$(POD_NAME) && chmod 777 /logs/$(POD_NAME)"]
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        volumeMounts:
        - name: workdir1
          mountPath: /logs
      containers:
      - name: container1
        image: busybox
        command: ["sh", "-c", "while true; do echo 'Hello from $(POD_NAME)'; sleep 10; done | tee -a /logs/$(POD_NAME)/hello_$(POD_NAME).txt"]
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        volumeMounts:
        - name: workdir1
          mountPath: /logs
      volumes:
      - name: workdir1
        hostPath:
          path: /data
          type: DirectoryOrCreate  # 推荐指定类型,确保目录存在或创建

解决方式二:

将写入路径放到configMap文件,挂载到pod中,让程序从pod中获取对应的路径。

apiVersion: v1
kind: ConfigMap
metadata:
  name: log-config
  namespace: default
data:
  log.conf: |
    LOG.DIR=/data/${POD_NAME}

          - name: log
            mountPath: /log/
            # subPathExpr: $(POD_NAME)
          - name: log-config
            mountPath: /conf
            readOnly: true
      volumes:
        - name: log
          hostPath:
            path: /my/log
        - name: log-config
          configMap:
            name: log-config

后续.....

相关推荐
学习使我飞升41 分钟前
OSPF路由状态数据库、type 类型、完整的LSA
服务器·网络·智能路由器
学习使我飞升1 小时前
spf算法、三类LSA、区间防环路机制/规则、虚连接
服务器·网络·算法·智能路由器
hgdlip1 小时前
重装系统后ip地址错误,网络无法接通怎么办
服务器·网络协议·tcp/ip·重装系统
真上帝的左手1 小时前
网络-NAT网关(Network Address Translation Gateway)
服务器·网络·gateway
@糊糊涂涂2 小时前
MAC借助终端上传jar包到云服务器
java·服务器·macos·jar
44漏洞观察员2 小时前
windows实战-wordpress——玄机靶场
服务器·windows·web安全·网络安全·安全威胁分析
我是唐青枫3 小时前
Linux nc 命令详解
linux·运维·服务器
张丹 新叶之扉3 小时前
图片预览 图片上传到服务器
服务器·前端·html5·js
ejinxian3 小时前
Windows 系统上构建 Linux 应用
linux·运维·服务器·red hat
44漏洞观察员3 小时前
linux实战-黑链——玄机靶场
linux·运维·服务器·web安全·网络安全