验证subpathexpr功能 ,在pod 的yaml文件中,把pod name 以变量方式取出来,作为存储卷上的子目录来使用。这样在可以方便在一台服务器上运行多个相同的pod,且日志文件能够写入以各自pod名字创建的目录中,隔离了日志文件方便后续作为日志采集使用。虽然这种使用上不够合理,但作为一种过渡阶段的日志采集服务,也是能够接受。
使用如下yaml文件创建一个pod,需要在运行pod的服务器的/data/目录下创建一个pod1的目录,并在里面写入hello.txt文件
apiVersion: v1
kind: Pod
metadata:
name: pod1
spec:
containers:
- name: container1
env:
- name: POD_NAME
valueFrom:
fieldRef:
apiVersion: v1
fieldPath: metadata.name
image: busybox
command: [ "sh", "-c", "while [ true ]; do echo 'Hello'; sleep 10; done | tee -a /logs/hello.txt" ]
volumeMounts:
- name: workdir1
mountPath: /logs
subPathExpr: $(POD_NAME)
restartPolicy: Never
volumes:
- name: workdir1
hostPath:
path: /data
运行yaml文件
[root@xm-nano-k8s-master-113-59 ~]# kubectl apply -f pod1.yaml
验证结果:
[root@xm-phy-kvm-113-4 ~]# ll /data/
总用量 0
-rw-r--r--. 1 root root 0 8月 11 20:36 test
[root@xm-phy-kvm-113-4 ~
[root@xm-phy-kvm-113-4 ~]# find / -name "hello.txt"
/var/lib/docker/overlay2/fe03649ea9a5110b12909f14176daa9836ad64937b303402c04ee96673f95c26/diff/data/pod1/hello.txt
/var/lib/docker/overlay2/fe03649ea9a5110b12909f14176daa9836ad64937b303402c04ee96673f95c26/merged/data/pod1/hello.txt
/data目录没有创建pod1目录,反而是在/var/lib/docer/.../date/目录下创建。
结果不符合预期。。。无语ing。
后面经过一番的查找在github上找到这个 issue:
https://github.com/kubernetes/kubernetes/issues/61456
原来是是早期 k8s 不会对 subPath 做检查,于是就存在一个漏洞,用户可以搞一个软链接,让容器可以访问任何宿主机上的目录,后来修复了这个漏洞 https://kubernetes.io/blog/2018/04/04/fixing-subpath-volume-vulnerability/,
就导致容器方式(containerized)运行的 kubelet,用 subPath (或 subPathExpr)后创建的目录就跑到 kubelet 的容器里。
如果 kubelet 是你自己部署的,实验结果如预期所想在对应的目录创建pod名字的目录。如果kubelet是容器启动的那就gg,无法实现该功能。
解决方式一:
就是不用 subPath(subPathExpr 同),而是新个 initContainer 来创建目录。
apiVersion: v1
kind: Pod
metadata:
name: pod1
spec:
initContainers:
- name: init-logs
image: busybox
imagePullPolicy: IfNotPresent
command: ["sh", "-c", "mkdir -p /logs/$(POD_NAME) && chmod 777 /logs/$(POD_NAME)"]
env:
- name: POD_NAME
valueFrom:
fieldRef:
fieldPath: metadata.name
volumeMounts:
- name: workdir1
mountPath: /logs
containers:
- name: container1
image: busybox
command: ["sh", "-c", "while true; do echo 'Hello from $(POD_NAME)'; sleep 10; done | tee -a /logs/$(POD_NAME)/hello_$(POD_NAME).txt"]
env:
- name: POD_NAME
valueFrom:
fieldRef:
fieldPath: metadata.name
volumeMounts:
- name: workdir1
mountPath: /logs
volumes:
- name: workdir1
hostPath:
path: /data
[root@xm-phy-kvm-113-4 data]# ll
总用量 4
-rw-r--r--. 1 root root 1212 8月 12 11:08 hello.txt
drwxrwxrwx. 2 root root 29 8月 12 11:07 pod10
[root@xm-phy-kvm-113-4 data]# ll pod10
总用量 4
-rw-r--r--. 1 root root 119 8月 12 11:08 hello_pod10.txt
[root@xm-phy-kvm-113-4 data]#
deployment版本
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
run: subpath
name: subpathtest
spec:
replicas: 2
selector:
matchLabels:
run: subpath
template:
metadata:
labels:
run: subpath
spec:
initContainers:
- name: init-logs
image: busybox
imagePullPolicy: IfNotPresent
command: ["sh", "-c", "mkdir -p /logs/$(POD_NAME) && chmod 777 /logs/$(POD_NAME)"]
env:
- name: POD_NAME
valueFrom:
fieldRef:
fieldPath: metadata.name
volumeMounts:
- name: workdir1
mountPath: /logs
containers:
- name: container1
image: busybox
command: ["sh", "-c", "while true; do echo 'Hello from $(POD_NAME)'; sleep 10; done | tee -a /logs/$(POD_NAME)/hello_$(POD_NAME).txt"]
env:
- name: POD_NAME
valueFrom:
fieldRef:
fieldPath: metadata.name
volumeMounts:
- name: workdir1
mountPath: /logs
volumes:
- name: workdir1
hostPath:
path: /data
type: DirectoryOrCreate # 推荐指定类型,确保目录存在或创建
解决方式二:
将写入路径放到configMap文件,挂载到pod中,让程序从pod中获取对应的路径。
apiVersion: v1
kind: ConfigMap
metadata:
name: log-config
namespace: default
data:
log.conf: |
LOG.DIR=/data/${POD_NAME}
- name: log
mountPath: /log/
# subPathExpr: $(POD_NAME)
- name: log-config
mountPath: /conf
readOnly: true
volumes:
- name: log
hostPath:
path: /my/log
- name: log-config
configMap:
name: log-config
后续.....