使用容器启动的kubelet无法使用subPathExpr

验证subpathexpr功能 ,在pod 的yaml文件中,把pod name 以变量方式取出来,作为存储卷上的子目录来使用。这样在可以方便在一台服务器上运行多个相同的pod,且日志文件能够写入以各自pod名字创建的目录中,隔离了日志文件方便后续作为日志采集使用。虽然这种使用上不够合理,但作为一种过渡阶段的日志采集服务,也是能够接受。

使用如下yaml文件创建一个pod,需要在运行pod的服务器的/data/目录下创建一个pod1的目录,并在里面写入hello.txt文件

apiVersion: v1
kind: Pod
metadata:
  name: pod1
spec:
  containers:
  - name: container1
    env:
    - name: POD_NAME
      valueFrom:
        fieldRef:
          apiVersion: v1
          fieldPath: metadata.name
    image: busybox
    command: [ "sh", "-c", "while [ true ]; do echo 'Hello'; sleep 10; done | tee -a /logs/hello.txt" ]
    volumeMounts:
    - name: workdir1
      mountPath: /logs
      subPathExpr: $(POD_NAME)
  restartPolicy: Never
  volumes:
  - name: workdir1
    hostPath:
      path: /data

运行yaml文件

[root@xm-nano-k8s-master-113-59 ~]# kubectl apply -f pod1.yaml

验证结果:

[root@xm-phy-kvm-113-4 ~]# ll /data/
总用量 0
-rw-r--r--. 1 root root 0 8月  11 20:36 test
[root@xm-phy-kvm-113-4 ~
[root@xm-phy-kvm-113-4 ~]# find / -name "hello.txt"
/var/lib/docker/overlay2/fe03649ea9a5110b12909f14176daa9836ad64937b303402c04ee96673f95c26/diff/data/pod1/hello.txt
/var/lib/docker/overlay2/fe03649ea9a5110b12909f14176daa9836ad64937b303402c04ee96673f95c26/merged/data/pod1/hello.txt

/data目录没有创建pod1目录,反而是在/var/lib/docer/.../date/目录下创建。

结果不符合预期。。。无语ing。

后面经过一番的查找在github上找到这个 issue:

https://github.com/kubernetes/kubernetes/issues/61456

原来是是早期 k8s 不会对 subPath 做检查,于是就存在一个漏洞,用户可以搞一个软链接,让容器可以访问任何宿主机上的目录,后来修复了这个漏洞 https://kubernetes.io/blog/2018/04/04/fixing-subpath-volume-vulnerability/,

就导致容器方式(containerized)运行的 kubelet,用 subPath (或 subPathExpr)后创建的目录就跑到 kubelet 的容器里。

如果 kubelet 是你自己部署的,实验结果如预期所想在对应的目录创建pod名字的目录。如果kubelet是容器启动的那就gg,无法实现该功能。

解决方式一:

就是不用 subPath(subPathExpr 同),而是新个 initContainer 来创建目录。

apiVersion: v1  
kind: Pod  
metadata:  
  name: pod1  
spec:  
  initContainers:  
  - name: init-logs  
    image: busybox
    imagePullPolicy: IfNotPresent
    command: ["sh", "-c", "mkdir -p /logs/$(POD_NAME) && chmod 777 /logs/$(POD_NAME)"]  
    env:  
    - name: POD_NAME  
      valueFrom:  
        fieldRef:  
          fieldPath: metadata.name  
    volumeMounts:  
    - name: workdir1  
      mountPath: /logs
  containers:  
  - name: container1  
    image: busybox  
    command: ["sh", "-c", "while true; do echo 'Hello from $(POD_NAME)'; sleep 10; done | tee -a /logs/$(POD_NAME)/hello_$(POD_NAME).txt"]  
    env:  
    - name: POD_NAME  
      valueFrom:  
        fieldRef:  
          fieldPath: metadata.name  
    volumeMounts:  
    - name: workdir1  
      mountPath: /logs 
  volumes:  
  - name: workdir1  
    hostPath:  
      path: /data

[root@xm-phy-kvm-113-4 data]# ll
总用量 4
-rw-r--r--. 1 root root 1212 8月  12 11:08 hello.txt
drwxrwxrwx. 2 root root   29 8月  12 11:07 pod10
[root@xm-phy-kvm-113-4 data]# ll pod10
总用量 4
-rw-r--r--. 1 root root 119 8月  12 11:08 hello_pod10.txt
[root@xm-phy-kvm-113-4 data]#

deployment版本

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    run: subpath
  name: subpathtest
spec:
  replicas: 2
  selector:
    matchLabels:
      run: subpath
  template:
    metadata:
      labels:
        run: subpath
    spec:
      initContainers:
      - name: init-logs
        image: busybox
        imagePullPolicy: IfNotPresent
        command: ["sh", "-c", "mkdir -p /logs/$(POD_NAME) && chmod 777 /logs/$(POD_NAME)"]
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        volumeMounts:
        - name: workdir1
          mountPath: /logs
      containers:
      - name: container1
        image: busybox
        command: ["sh", "-c", "while true; do echo 'Hello from $(POD_NAME)'; sleep 10; done | tee -a /logs/$(POD_NAME)/hello_$(POD_NAME).txt"]
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        volumeMounts:
        - name: workdir1
          mountPath: /logs
      volumes:
      - name: workdir1
        hostPath:
          path: /data
          type: DirectoryOrCreate  # 推荐指定类型,确保目录存在或创建

解决方式二:

将写入路径放到configMap文件,挂载到pod中,让程序从pod中获取对应的路径。

apiVersion: v1
kind: ConfigMap
metadata:
  name: log-config
  namespace: default
data:
  log.conf: |
    LOG.DIR=/data/${POD_NAME}

          - name: log
            mountPath: /log/
            # subPathExpr: $(POD_NAME)
          - name: log-config
            mountPath: /conf
            readOnly: true
      volumes:
        - name: log
          hostPath:
            path: /my/log
        - name: log-config
          configMap:
            name: log-config

后续.....

相关推荐
幺零九零零3 小时前
【C++】socket套接字编程
linux·服务器·网络·c++
free4 小时前
netstat中sendq/recvq用于排查发送端发送数据的问题
服务器
力姆泰克4 小时前
看电动缸是如何提高农机的自动化水平
大数据·运维·服务器·数据库·人工智能·自动化·1024程序员节
力姆泰克4 小时前
力姆泰克电动缸助力农业机械装备,提高农机的自动化水平
大数据·服务器·数据库·人工智能·1024程序员节
程思扬5 小时前
为什么Uptime+Kuma本地部署与远程使用是网站监控新选择?
linux·服务器·网络·经验分享·后端·网络协议·1024程序员节
sun0077005 小时前
拷贝 cp -rdp 和 cp -a
linux·运维·服务器
tingting01196 小时前
Linux 普通用户禁用sudo su - 命令
linux·运维·服务器
WZF-Sang6 小时前
Linux—进程学习-01
linux·服务器·数据库·学习·操作系统·vim·进程
没有名字的小羊7 小时前
二.Linux文件与目录管理
linux·运维·服务器
陌上花开缓缓归以7 小时前
linux strace 查看程序异常问题总结
linux·运维·服务器