Kubernetes Volume 与配置管理实战笔记
写在前面
前两篇笔记完成了 Kubernetes 集群安装和 Pod 基础管理的梳理。集群能跑 Pod 之后,马上会遇到两个绕不开的问题:数据往哪放 ,以及配置怎么管。容器本身是临时的,容器内写的数据随容器销毁而消失,数据库文件、上传目录、日志这些需要持久化的内容,靠容器本地文件系统是留不住的。配置方面,把数据库密码、证书私钥直接写进镜像或 YAML 里,既不安全也不好维护,改一个密码就要重新构建镜像或者手动改清单。
今天的内容就是解决这两个问题:Volume 负责数据持久化和容器间共享,ConfigMap 和 Secret 负责配置与敏感信息的注入。课程还安排了 PyCharm 编写 YAML 的环境配置,这部分属于工具链准备,放在开头简单带过,重点还是 Volume 和配置管理。
环境延续前两篇:Kubernetes v1.30.2,containerd 运行时,镜像仓库 hub.laoma.cloud。所有操作在 master30 上执行。
一、环境准备与 YAML 编写工具
先建独立命名空间,把今天的实验资源隔离出来。kubectl create ns 创建命名空间,kubectl config set-context --current --namespace 把当前上下文的默认命名空间切过去:
bash
root@master30:~# kubectl create ns storage
root@master30:~# kubectl config set-context --current --namespace storage
--current 表示操作当前上下文,不用写上下文名称;--namespace storage 指定新的默认命名空间。执行后后续 kubectl get pod 不带 -n 也只列 storage 里的资源。
关于 YAML 编写工具,课程介绍了 PyCharm 配合 Kubernetes 插件做自动补全和 schema 校验。实际工作中用 VSCode 的 YAML 插件或者直接 vim 的也不少,工具不是重点,重点是把 apiVersion、kind、metadata、spec 这几层结构写对。PyCharm 插件的价值在于字段级补全和缩进校验,能减少字段名拼写和缩进错误。几个使用要点:
- 新建 YAML 文件后,如果首行
apiVersion不能补全,是因为插件还没识别文件类型。右键文件 → 重写文件类型 → 选 Kubernetes Yaml,之后补全就正常了。 - 插件通过 schema 校验字段合法性,写错字段名会标红。但 schema 校验只保证结构合法,不保证字段值符合你的业务逻辑,比如
accessModes和存储后端是否匹配,还是要靠对 API 的理解。 - 写完 YAML 后用
kubectl apply --dry-run=server做一次服务端校验,比编辑器提示可靠。--dry-run=server会把清单发给 API Server 做完整校验,包括 webhook 和准入控制,但不会真正创建资源。
PyCharm 的安装和激活流程属于环境配置,这里不展开。核心结论是:工具能减少低级错误,但字段语义和匹配规则还是要靠对 API 的理解。
二、emptyDir
2.1 特性
emptyDir 是 Pod 级别的临时卷。Pod 被调度到节点时创建,Pod 在该节点上运行期间一直存在,Pod 被删除时数据一并删除。容器崩溃重启不会丢数据,因为 emptyDir 的生命周期跟着 Pod 走,不跟容器走。适用场景是同一 Pod 内多容器共享临时数据,比如 sidecar 读取业务容器写的日志文件,或者 init 容器准备数据给业务容器用。
2.2 实验
清单 pod-with-emptyDir.yaml 定义两个 busybox 容器,共享一个 emptyDir:
bash
root@master30:~# vim pod-with-emptyDir.yaml
apiVersion: v1
kind: Pod
metadata:
name: busybox
labels:
app: busybox
spec:
volumes:
- name: datavolume
emptyDir: {}
containers:
- name: busybox1
image: hub.laoma.cloud/library/busybox
imagePullPolicy: IfNotPresent
command: ['sh', '-c', 'echo Hello Kubernetes! && sleep 3600']
volumeMounts:
- mountPath: /data
name: datavolume
- name: busybox2
image: hub.laoma.cloud/library/busybox
imagePullPolicy: IfNotPresent
command: ['sh', '-c', 'echo Hello Kubernetes! && sleep 3600']
volumeMounts:
- mountPath: /data
name: datavolume
字段说明:
spec.volumes是 Pod 级别的卷定义,name: datavolume是卷的标识,emptyDir: {}表示空对象,使用默认配置(默认使用节点磁盘,可加medium: Memory改用内存盘)。spec.containers.volumeMounts是容器级别对卷的引用,name必须与 volumes 里的 name 对应,mountPath: /data是容器内的挂载点。imagePullPolicy: IfNotPresent表示本地有镜像就不拉取,加快启动。
创建 Pod:
bash
root@master30:~# kubectl apply -f pod-with-emptyDir.yaml
pod/busybox created
取容器 ID 和所在节点。egrep -o 'Container ID.*//.{12}' 提取 Container ID 行并截取运行时前缀加 12 位短 ID,grep Node: 取节点信息:
bash
root@master30:~# kubectl describe pod busybox | egrep -o 'Container ID.*//.{12}'
Container ID: containerd://07d189383321
Container ID: containerd://bb02c680ca8a
root@master30:~# kubectl describe pod busybox | grep Node:
Node: worker32.laoma.cloud/10.1.8.32
登录 worker32 用 crictl 查看容器挂载详情。crictl inspect 输出容器的完整配置,grep datavolume 过滤出卷相关部分:
bash
root@worker32:~# crictl inspect 07d189383321 | grep datavolume
"hostPath": "/var/lib/kubelet/pods/8417656f-4b6c-4b2a-a2f3-f4a248c4c043/volumes/kubernetes.io~empty-dir/datavolume",
"host_path": "/var/lib/kubelet/pods/8417656f-4b6c-4b2a-a2f3-f4a248c4c043/volumes/kubernetes.io~empty-dir/datavolume"
"source": "/var/lib/kubelet/pods/8417656f-4b6c-4b2a-a2f3-f4a248c4c043/volumes/kubernetes.io~empty-dir/datavolume",
可以看到 emptyDir 在宿主机上的实际路径是 /var/lib/kubelet/pods/<pod-uid>/volumes/kubernetes.io~empty-dir/<卷名>。这个路径在排查卷相关问题时有用,可以直接到节点上确认文件是否真的写进去了。
在 busybox1 里创建文件,busybox2 里能看到,说明两个容器共享同一个卷:
bash
root@master30:~# kubectl exec busybox -c busybox1 -- touch /data/b1-f1
root@master30:~# kubectl exec busybox -c busybox2 -- ls /data
b1-f1
宿主机上对应目录也能看到这个文件:
bash
root@worker32:~# ls /var/lib/kubelet/pods/8417656f-4b6c-4b2a-a2f3-f4a248c4c043/volumes/kubernetes.io~empty-dir/datavolume
b1-f1
删除 Pod 后验证数据消失。--force 表示立即删除,跳过优雅终止等待:
bash
root@master30:~# kubectl delete pod busybox --force
root@worker32:~# ls /var/lib/kubelet/pods/8417656f-4b6c-4b2a-a2f3-f4a248c4c043/volumes/kubernetes.io~empty-dir/datavolume
ls: cannot access '/var/lib/kubelet/pods/8417656f-4b6c-4b2a-a2f3-f4a248c4c043/volumes/kubernetes.io~empty-dir/datavolume': No such file or directory
注意删除 Pod 后目录清理不是瞬时的,kubelet 需要一些时间做卷卸载和目录回收。刚删完立刻 ls 可能还能看到,等几秒再查才消失。课程文档末尾也提到了这一点。
三、hostPath
3.1 特性
hostPath 把节点文件系统上的某个目录或文件挂载进 Pod。数据存在节点上,Pod 删除后数据保留。适用于需要访问节点级资源的场景,比如读取 /var/log 做日志采集、挂载 /dev 下的设备、或者 DaemonSet 类工作负载访问节点文件。但 hostPath 有两个明显缺陷:一是 Pod 调度到哪个节点,数据就在哪个节点上,Pod 重建换节点就看不到旧数据;二是多个 Pod 写同一路径会互相干扰。生产环境除 DaemonSet 类场景外很少直接用 hostPath,需要本地持久化时通常用 local 卷或 PV 包装 hostPath。
3.2 实验
bash
root@master30:~# vim pod-with-hostPath.yaml
apiVersion: v1
kind: Pod
metadata:
name: busybox
labels:
app: busybox
spec:
volumes:
- name: datavolume
hostPath:
path: /busyboxdir
containers:
- name: busybox1
image: hub.laoma.cloud/library/busybox
imagePullPolicy: IfNotPresent
command: ['sh', '-c', 'echo Hello Kubernetes! && sleep 3600']
volumeMounts:
- mountPath: /data
name: datavolume
- name: busybox2
image: hub.laoma.cloud/library/busybox
imagePullPolicy: IfNotPresent
command: ['sh', '-c', 'echo Hello Kubernetes! && sleep 3600']
volumeMounts:
- mountPath: /data
name: datavolume
readOnly: false
字段说明:
hostPath.path: /busyboxdir指定节点上的目录。注意 hostPath 默认没有type字段,如果目录不存在,kubelet 创建 Pod 时可能因权限或路径问题失败。显式指定type: DirectoryOrCreate可以让 kubelet 自动创建目录。生产环境建议总是显式指定 type,可选值包括DirectoryOrCreate、Directory、FileOrCreate、File、Socket、CharDevice、BlockDevice。readOnly: false控制挂载是否只读,默认就是 false(读写)。设成 true 则容器内只能读不能写。
创建并查看挂载:
bash
root@master30:~# kubectl apply -f pod-with-hostPath.yaml
pod/busybox created
root@master30:~# kubectl describe pod busybox | egrep -o 'Container ID.*//.{12}'
Container ID: containerd://318922d0c666
Container ID: containerd://0688146babe5
root@master30:~# kubectl describe pod busybox | grep Node:
Node: worker32.laoma.cloud/10.1.8.32
root@worker32:~# crictl inspect 318922d0c666 | grep busyboxdir
"hostPath": "/busyboxdir",
"host_path": "/busyboxdir"
"source": "/busyboxdir",
写数据并验证共享。busybox1 写文件,busybox2 能读到:
bash
root@master30:~# kubectl exec busybox -c busybox1 -- touch /data/b1-f1
root@master30:~# kubectl exec busybox -c busybox2 -- ls /data
b1-f1
如果在 busybox2 的 volumeMounts 里设了 readOnly: true,再写就会报错:
bash
root@master30:~# kubectl exec busybox -c busybox2 -- touch /data/b2-f2
touch: /data/b2-f2: Read-only file system
节点上查看数据,然后删除 Pod 验证数据保留:
bash
root@worker32:~# ls /busyboxdir/
b1-f1
root@master30:~# kubectl delete pod busybox --force
root@worker32:~# ls /busyboxdir/
b1-f1
hostPath 的数据在 Pod 删除后保留,这是它和 emptyDir 的本质区别。但也要清楚,这个"保留"只是在当前节点上保留,Pod 换节点调度就找不到了,不能当作跨节点的持久化方案。
四、NFS 存储
4.1 准备 NFS 服务端
NFS 是网络文件系统,多个节点可以同时挂载同一个共享目录,数据存在 NFS 服务端,与 Pod 调度到哪个节点无关。这是实验环境里模拟共享存储最方便的方式,生产环境里 NAS 存储也属于这一类。
在 master30 上安装 NFS 服务端:
bash
root@master30:~# apt install -y nfs-kernel-server
创建共享目录并放一个测试文件。mkdir -m 777 的 -m 指定目录权限,777 让所有用户可读写,实验环境图省事,生产环境要按最小权限原则收紧:
bash
root@master30:~# mkdir -m 777 /nfsshares
root@master30:~# echo hello laoma > /nfsshares/index.html
配置共享。/etc/exports 每行一个共享,/nfsshares *(rw) 表示该目录对所有客户端开放读写。生产环境应该指定网段,比如 172.16.2.0/24(rw,sync),sync 表示同步写入,数据安全性更高但性能略低:
bash
root@master30:~# cat << EOF > /etc/exports
/nfsshares *(rw)
EOF
重启 NFS 服务使配置生效:
bash
root@master30:~# systemctl restart nfs-server.service
两个 worker 节点安装 NFS 客户端。挂载 NFS 需要 nfs-common 提供 mount.nfs 辅助程序:
bash
root@worker31:~# apt install -y nfs-common
root@worker32:~# apt install -y nfs-common
4.2 Pod 使用 NFS 卷
清单 pod-with-nfs.yaml 把 NFS 共享挂到 nginx 的站点目录:
bash
root@master30:~# vim pod-with-nfs.yaml
apiVersion: v1
kind: Pod
metadata:
labels:
run: nginx
name: nginx
spec:
volumes:
- name: nfs
nfs:
server: 10.1.8.30
path: "/nfsshares"
containers:
- image: hub.laoma.cloud/library/nginx
name: nginx
volumeMounts:
- name: nfs
mountPath: "/usr/share/nginx/html"
字段说明:
nfs.server是 NFS 服务端地址,nfs.path是共享目录路径。这两个字段必须与实际 exports 配置一致。mountPath: /usr/share/nginx/html把共享目录挂到 nginx 默认站点目录,这样访问 nginx 就是读 NFS 上的文件。nfs卷默认是读写模式,如果要只读,在 volumeMounts 里加readOnly: true。
创建并验证挂载:
bash
root@master30:~# kubectl apply -f pod-with-nfs.yaml
pod/nginx created
root@master30:~# kubectl describe pod nginx | egrep -o 'Container ID.*//.{12}'
Container ID: containerd://c5e734dab9b5
root@master30:~# kubectl describe pod nginx | grep Node:
Node: worker32.laoma.cloud/10.1.8.32
root@worker32:~# crictl inspect c5e734dab9b5 | grep -e nfs -e html
"containerPath": "/usr/share/nginx/html",
"hostPath": "/var/lib/kubelet/pods/b5bd3f1a-3ef4-4327-95ff-61352268ee41/volumes/kubernetes.io~nfs/nfs",
"container_path": "/usr/share/nginx/html",
"host_path": "/var/lib/kubelet/pods/b5bd3f1a-3ef4-4327-95ff-61352268ee41/volumes/kubernetes.io~nfs/nfs"
"destination": "/usr/share/nginx/html",
"source": "/var/lib/kubelet/pods/b5bd3f1a-3ef4-4327-95ff-61352268ee41/volumes/kubernetes.io~nfs/nfs",
df 确认 NFS 挂载生效。grep nfsshare 过滤出 NFS 那一行,能看到服务端地址和挂载点:
bash
root@worker32:~# df | grep nfsshare
10.1.8.30:/nfsshares 101590016 6659072 89723904 7% /var/lib/kubelet/pods/b5bd3f1a-3ef4-4327-95ff-61352268ee41/volumes/kubernetes.io~nfs/nfs
访问 Pod,curl 返回的是 NFS 上 index.html 的内容:
bash
root@master30:~# kubectl get pod -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
nginx 1/1 Running 0 5m19s 10.224.51.171 worker32.laoma.cloud <none> <none>
root@master30:~# curl 10.224.51.171
hello laoma
容器内写文件,NFS 服务端能看到:
bash
root@master30:~# kubectl exec nginx -- touch /usr/share/nginx/html/test.html
root@master30:~# ls /nfsshares
index.html test.html
删除 Pod 验证数据保留:
bash
root@master30:~# kubectl delete pod nginx --force
pod "nginx" deleted
root@master30:~# ls /nfsshares
index.html test.html
NFS 卷的数据存在服务端,Pod 删除、重建、换节点都不影响,这是它比 hostPath 更适合持久化的原因。
五、PV 和 PVC
5.1 为什么需要 PV/PVC
直接写 nfs 卷的 YAML 有个问题:存储地址和路径硬编码在 Pod 定义里,开发人员得知道 NFS 服务器 IP 和目录结构。这违背了职责分离------存储怎么配是集群管理员的事,开发只应该声明"我要 5Gi 读写卷"。
PV/PVC 就是这层抽象。PV(PersistentVolume)是集群级资源 ,由管理员创建,描述一块实际存储(NFS、云盘、Ceph 等)。PVC(PersistentVolumeClaim)是命名空间级资源,由开发创建,声明容量和访问模式。Kubernetes 控制平面负责把 PVC 和匹配的 PV 绑定,Pod 通过引用 PVC 使用存储。这样 Pod 清单里不需要出现任何存储后端细节,换存储后端时 Pod 定义不用改。
5.2 创建 PV
bash
root@master30:~# vim pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
name: web
spec:
capacity:
storage: 5Gi
volumeMode: Filesystem
accessModes:
- ReadWriteOnce
nfs:
path: /nfsshares
server: 10.1.8.30
字段说明:
capacity.storage: 5Gi声明 PV 容量。这个值对 NFS 来说只是逻辑标记,不会真的限制 NFS 目录大小,但 PVC 匹配时按这个值判断能否满足请求。volumeMode: Filesystem表示以文件系统方式挂载,是默认值。另一个可选值是 Block。accessModes: [ReadWriteOnce]声明访问模式,RWO 表示可以被一个节点以读写方式挂载。nfs是后端存储的具体实现,PV 支持很多种后端插件。
bash
root@master30:~# kubectl apply -f pv.yaml
persistentvolume/web created
root@master30:~# kubectl get pv
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
web 5Gi RWO Retain Available 3s
STATUS 为 Available,表示还没被 PVC 绑定。RECLAIM POLICY 显示 Retain,因为没显式指定回收策略时默认就是 Retain。
5.3 创建 PVC
bash
root@master30:~# vim pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: webclaim
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 5Gi
字段说明:
accessModes必须与目标 PV 的 accessModes 匹配。匹配规则是"PV 的 accessModes 必须包含 PVC 申请的所有模式",不是简单的数值比较。resources.requests.storage: 5Gi是申请的容量,PV 容量必须大于等于这个值才能绑定。
bash
root@master30:~# kubectl apply -f pvc.yaml
persistentvolumeclaim/webclaim created
root@master30:~# kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
webclaim Bound web 5Gi RWO 4s
STATUS 为 Bound,VOLUME 列显示绑定的 PV 名称。此时 kubectl get pv 再看,web 的 STATUS 会变成 Bound,CLAIM 列显示 storage/webclaim。
5.4 Pod 使用 PVC
bash
root@master30:~# vim pod-with-pvc.yaml
apiVersion: v1
kind: Pod
metadata:
name: web
labels:
name: web
spec:
containers:
- image: hub.laoma.cloud/library/nginx
name: web
ports:
- containerPort: 80
name: web-port
volumeMounts:
- name: web-persistent-storage
mountPath: /usr/share/nginx/html
volumes:
- name: web-persistent-storage
persistentVolumeClaim:
claimName: webclaim
关键字段是 volumes.persistentVolumeClaim.claimName,引用的是同命名空间下的 PVC 名称。Pod 不需要知道后端是 NFS 还是别的,PVC 屏蔽了存储细节。
bash
root@master30:~# kubectl apply -f pod-with-pvc.yaml
pod/web created
root@master30:~# kubectl get pod -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
web 1/1 Running 0 35s 10.224.193.69 worker32.laoma.cloud <none> <none>
root@master30:~# curl http://10.224.193.69
hello laoma
root@master30:~# echo test > /nfsshares/test.html
root@master30:~# curl http://10.224.193.69/test.html
test
删除 Pod 后 PVC 和 PV 都还在,数据也保留。要清理存储资源得单独删 PVC 和 PV。
5.5 accessModes 详解
四个取值:
- ReadWriteOnce(RWO):卷可以被一个节点以读写方式挂载。注意约束单位是节点,不是 Pod------同一节点上的多个 Pod 可以同时读写同一个 RWO 卷。
- ReadOnlyMany(ROX):卷可以被多个节点以只读方式挂载。
- ReadWriteMany(RWX):卷可以被多个节点以读写方式挂载。NFS、CephFS、GlusterFS 这类共享文件系统支持。
- ReadWriteOncePod(RWOP):卷只能被单个 Pod 以读写方式挂载。这是最严格的模式,需要 Kubernetes 1.22+ 和 CSI 驱动支持。
不同存储后端支持的模式不同,选型时要先确认。NFS 支持 RWO、ROX、RWX 三种,hostPath 只支持 RWO。另外要记住:同一个卷同一时刻只能以一种模式挂载,不能既 RWO 又 ROX。一个 GCEPersistentDisk 卷可以被某节点以 ReadWriteOnce 模式挂载,或者被多个节点以 ReadOnlyMany 模式挂载,但不可以同时以两种模式挂载。
匹配规则这里容易误解。Kubernetes 对 accessModes 的匹配是集合包含关系,PVC 申请的每个模式都必须在 PV 的 accessModes 列表里出现,不是按 RWO < RWX 这种优先级排序。文档里提到"PV 的 accessModes 必须高于 PVC 申请的最低要求",更准确的理解是 PV 的 accessModes 集合要覆盖 PVC 申请的集合。下面这个实践能把规则说清楚:
- 准备 PV1:5G、RWO
- 准备 PV2:8G、RWX
- 准备 PV3:10G、RWO、RWX
- 准备 PVC1:8G、RWO
PVC1 最终和 PV3 绑定。原因:PV1 容量 5G 不够;PV2 只有 RWX,不包含 PVC 申请的 RWO,不匹配;PV3 容量 10G 够且同时列了 RWO 和 RWX,满足集合包含。这个例子说明容量和模式是同时判断的,缺一不可。
5.6 volumeModes
- Filesystem:卷挂载为目录,默认值。如果底层块设备为空,kubelet 会在第一次挂载前创建文件系统。
- Block :卷作为原始块设备交给 Pod,容器内通过
volumeDevices.devicePath指定设备路径,而不是volumeMounts.mountPath。适合需要直接操作块设备的应用,比如某些数据库。
Block 模式的 PV 示例:
yaml
apiVersion: v1
kind: PersistentVolume
metadata:
name: block-pv
spec:
capacity:
storage: 10Gi
accessModes:
- ReadWriteOnce
volumeMode: Block
persistentVolumeReclaimPolicy: Retain
fc:
targetWWNs: ["50060e801049cfd1"]
lun: 0
readOnly: false
Pod 里配置的是 volumeDevices:
yaml
volumeDevices:
- name: data
devicePath: /dev/xvda
而不是 volumeMounts,这是两种模式在 Pod 定义上的核心区别。向 Pod 中添加原始块设备时,要在容器内设置设备路径而不是挂载路径。
5.7 PV 回收策略
PVC 删除后,PV 怎么处理由 persistentVolumeReclaimPolicy 决定。
Retain(保留),默认策略。PVC 删除后 PV 进入 Released 状态,数据保留,但 PV 上还留着上一次的 claimRef 信息,不能直接给新 PVC 用。要手动删掉 claimRef 才能重新绑定。实验里演示了这个过程:
bash
root@master30:~# kubectl delete pvc webclaim
persistentvolumeclaim "webclaim" deleted
root@master30:~# kubectl get pv
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
web 5Gi RWO Retain Released default/webclaim 3m4s
新建一个 PVC 申请同样容量,会一直 Pending,因为 PV 处于 Released:
bash
root@master30:~# kubectl apply -f pvc-db.yaml
persistentvolumeclaim/dbclaim created
root@master30:~# kubectl get pvc dbclaim
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
dbclaim Pending 11s
手动编辑 PV 删掉 claimRef 部分:
bash
root@master30:~# kubectl edit pv web
......
spec:
accessModes:
- ReadWriteOnce
capacity:
storage: 5Gi
# 删除claimRef部分
# claimRef:
# apiVersion: v1
# kind: PersistentVolumeClaim
# name: webclaim
# namespace: test
# resourceVersion: "112157"
# uid: 0839cdc1-81bb-11e9-9ca8-52540000fa0a
# 删除claimRef部分
nfs:
path: /web
server: 10.1.8.30
......
保存后 PV 变回 Available,dbclaim 自动绑定:
bash
root@master30:~# kubectl get pvc dbclaim
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
dbclaim Bound web 5Gi RWO 3m49s
清理环境时要注意,删除 PV 不会删除后端存储中的数据:
bash
root@master30:~# kubectl delete pvc dbclaim
root@master30:~# kubectl delete pv web
root@master30:~# ls /nfsshares/
index.html test.html
Recycle(回收),已废弃。行为与 Retain 基本一致,不建议使用。替代方案是动态制备。
Delete(删除),删除 PV 对象的同时删除后端存储资产。但要注意,这个策略只有支持 Delete 的存储插件才有效。NFS 不支持 Delete,设了 Delete 后 PVC 删除时 PV 会进入 Failed 状态:
bash
root@master30:~# kubectl get pv
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
web 5Gi RWO Delete Failed default/webclaim 33s
root@master30:~# kubectl describe pv web
......
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Warning VolumeFailedDelete 50s persistentvolume-controller error getting deleter volume plugin for volume "web": no deletable volume plugin matched
no deletable volume plugin matched 就是 NFS 不支持 Delete 的直接证据。云盘类存储(AWS EBS、GCE PD、阿里云盘)才支持真正的 Delete。此时只能手动删除 PV,手动删 PV 同样不会删除后端存储数据。
5.8 定向绑定
如果希望某个 PV 只给特定 PVC 用,在 PV 里加 claimRef 预绑定:
yaml
spec:
claimRef:
name: webclaim
namespace: test
这样其他 PVC 申请时不会被这个 PV 匹配到,只有 namespace 为 test、name 为 webclaim 的 PVC 能绑定。生产环境里管理员给关键业务预留存储时用得上,避免普通 PVC 抢走重要业务的存储资源。
5.9 PV 卷类型与弃用情况
PV 持久卷用插件形式实现。当前主流支持的插件包括:
csi- 容器存储接口,现代存储对接的标准方式fc- 光纤通道hostPath- 单节点测试用,不适用于多节点集群iscsi- iSCSI 存储local- 节点本地存储设备nfs- 网络文件系统
以下持久卷已被弃用,当前仍支持但未来版本会移除:azureFile(v1.21 弃用)、flexVolume(v1.23 弃用)、gcePersistentDisk(v1.17 弃用)、portworxVolume(v1.25 弃用)、vsphereVolume(v1.19 弃用)、cephfs(v1.28 弃用)、rbd(v1.28 弃用)。
以下树内卷类型从特定版本开始不可用:awsElasticBlockStore(v1.27 起)、azureDisk(v1.27 起)、cinder(v1.27 起)、photonPersistentDisk(v1.15 起)、scaleIO(v1.21 起)、flocker(v1.25 起)、quobyte(v1.25 起)、storageos(v1.25 起)。
这个趋势很明确:树内(In-Tree)存储插件逐步被 CSI 替代,新环境选型优先考虑 CSI 驱动。
六、ConfigMap
6.1 概念
ConfigMap 用来存非敏感的配置数据,键值对形式,大小上限 1MiB。它解耦了配置和镜像------同一个镜像在不同环境用不同 ConfigMap 就能跑不同配置,不用重新构建镜像。
ConfigMap 的 data 字段存 UTF-8 字符串,binaryData 字段存 base64 编码的二进制数据。名字必须是合法的 DNS 子域名,键名只能由字母、数字、-、_、. 组成,data 和 binaryData 下的键名不能重叠。从 v1.19 开始支持 immutable: true 创建不可变更的 ConfigMap,不可变更的 ConfigMap 不能修改 data,只能删除重建,好处是减少 kubelet 同步压力。
使用建议:ConfigMap 存配置数据,不存业务数据或大文件,1MiB 上限是有意设计的。需要存大量数据时用挂载存储卷或者独立数据库、文件服务。
6.2 创建方式
从字面量创建 。--from-literal 直接给键值对,适合少量简单配置:
bash
root@master30:~# kubectl create configmap mysql --from-literal=password=redhat
configmap/mysql created
root@master30:~# kubectl get configmaps mysql -o yaml | grep ^data -A1
data:
password: redhat
从文件创建 。--from-file 把文件内容作为 value,文件名作为 key:
bash
root@master30:~# echo Hello World > index.html
root@master30:~# kubectl create configmap web1 --from-file=./index.html
configmap/web1 created
root@master30:~# kubectl get configmaps web1 -o yaml | grep ^data -A2
data:
index.html: |
Hello World
--from-file 也可以自定义 key:--from-file=自定义key=文件路径,这样 key 不一定是文件名。
从目录创建 。--from-file 跟目录时,目录下每个文件都变成一个键值对:
bash
root@master30:~# echo error > error.html
root@master30:~# mkdir web2
root@master30:~# mv index.html error.html web2
root@master30:~# kubectl create configmap web2 --from-file=./web2
configmap/web2 created
root@master30:~# kubectl get configmaps web2 -o yaml | grep ^data -A4
data:
error.html: |
error
index.html: |
Hello World
--from-env-file 和 --from-file 的区别要分清:--from-file 把整个文件内容作为单个 value;--from-env-file 解析文件里的 KEY=VALUE 行,每行变成一个键值对。前者适合配置文件,后者适合环境变量文件。
6.3 环境变量方式引用
bash
root@master30:~# vim pod-with-env-from-configmap.yaml
---
apiVersion: v1
kind: Pod
metadata:
name: mysql
labels:
name: mysql
spec:
containers:
- image: hub.laoma.cloud/library/mysql:latest
imagePullPolicy: IfNotPresent
name: mysql
ports:
- containerPort: 3306
name: mysql
env:
- name: MYSQL_ROOT_PASSWORD
valueFrom:
configMapKeyRef:
name: mysql
key: password
valueFrom.configMapKeyRef 指定从 ConfigMap 取值的来源,name 是 ConfigMap 名,key 是其中的键。与直接写 value: redhat 相比,密码不再出现在 Pod 定义里。
bash
root@master30:~# kubectl apply -f pod-with-env-from-configmap.yaml
pod/mysql created
root@master30:~# kubectl exec -it mysql -- bash -c 'echo $MYSQL_ROOT_PASSWORD'
redhat
验证 MySQL 能用这个密码连上:
bash
root@master30:~# apt install -y mysql-client
root@master30:~# mysql -u root -predhat -h 10.224.193.70
mysql: [Warning] Using a password on the command line interface can be insecure.
......
mysql> quit
Bye
环境变量方式有一个限制:ConfigMap 更新后,已经注入的环境变量不会变,要重启 Pod 才生效。这是环境变量和 volume 挂载的重要区别。
6.4 Volume 方式引用
引用整体。把 ConfigMap 所有键值对挂到目录,每个 key 变成一个文件:
bash
root@master30:~# vim pod-with-volume-from-configmap.yaml
---
apiVersion: v1
kind: Pod
metadata:
labels:
run: web
name: web
spec:
containers:
- image: hub.laoma.cloud/library/nginx:latest
imagePullPolicy: IfNotPresent
name: web
volumeMounts:
- name: webcontent
mountPath: "/usr/share/nginx/html"
volumes:
- name: webcontent
configMap:
name: web2
volumes.configMap.name 引用 ConfigMap,mountPath 是挂载目录,ConfigMap 里的 index.html 和 error.html 会变成该目录下的两个文件。
bash
root@master30:~# kubectl apply -f pod-with-volume-from-configmap.yaml
pod/web created
root@master30:~# kubectl exec web -- ls /usr/share/nginx/html
error.html
index.html
root@master30:~# curl http://10.224.193.69
Hello World
root@master30:~# curl http://10.224.193.69/error.html
error
引用特定 key 。用 items 只挂载指定的键,还能用 path 重命名文件:
yaml
volumes:
- name: webcontent
configMap:
name: web2
items:
- key: index.html
path: index.html
等价的另一种写法是 subPath,把单个文件挂到指定路径:
yaml
volumeMounts:
- name: webcontent
mountPath: "/usr/share/nginx/html/index.html"
subPath: index.html
subPath 和直接挂载目录的区别:直接挂载目录时,目录下原有文件会被覆盖;subPath 只挂载指定文件,目录里其他文件保持原样。生产环境里往已有目录注入单个配置文件时用 subPath 更安全。
Volume 方式支持动态更新。ConfigMap 修改后,kubelet 在周期同步时更新挂载的文件内容,默认延迟几十秒到一分钟左右。环境变量方式没有这个能力。但要注意,同步到文件不等于应用会重读配置,很多应用只在启动时读一次,改完 ConfigMap 要不要重启 Pod 取决于应用的配置加载机制。
6.5 集群自身使用 ConfigMap 的例子
kube-proxy 的工作模式就是通过 ConfigMap 配的:
bash
root@master30:~# kubectl get configmaps -n kube-system
NAME DATA AGE
calico-config 4 37h
coredns 1 37h
extension-apiserver-authentication 6 37h
kube-apiserver-legacy-service-account-token-tracking 1 37h
kube-proxy 2 37h
kube-root-ca.crt 1 37h
kubeadm-config 1 37h
kubelet-config 1 37h
查看 kube-proxy 的配置内容,config.conf 里 mode 字段决定用 iptables 还是 ipvs:
bash
root@master30:~# kubectl get configmaps kube-proxy -n kube-system -o yaml
apiVersion: v1
data:
config.conf: |-
apiVersion: kubeproxy.config.k8s.io/v1alpha1
bindAddress: 0.0.0.0
bindAddressHardFail: false
......
kubeconfig.conf: |-
apiVersion: v1
kind: Config
clusters:
......
mode 为空时默认 iptables,日志里能看到:
bash
root@master30:~# kubectl logs -n kube-system kube-proxy-8kp8w
I1019 02:26:00.975333 1 server_others.go:69] "Using iptables proxy"
I1019 02:26:01.037589 1 node.go:141] Successfully retrieved node IP: 10.1.8.31
......
改成 ipvs 模式:
bash
root@master30:~# kubectl edit cm -n kube-system kube-proxy
......
mode: "ipvs"
......
ConfigMap 更新后 kube-proxy 不会自动重读,要删掉 Pod 让 DaemonSet 重建:
bash
root@master30:~# kubectl get pod -n kube-system | grep kube-proxy
kube-proxy-8kp8w 1/1 Running 1 37d
kube-proxy-ghgxw 1/1 Running 1 37d
kube-proxy-p6qnk 1/1 Running 1 37d
root@master30:~# kubectl delete pod -n kube-system kube-proxy-{8kp8w,ghgxw,p6qnk}
pod "kube-proxy-8kp8w" deleted
pod "kube-proxy-ghgxw" deleted
pod "kube-proxy-p6qnk" deleted
重建后看日志,模式变了:
bash
root@master30:~# kubectl logs -n kube-system kube-proxy-8swmx
I1019 03:41:12.288952 1 node.go:141] Successfully retrieved node IP: 10.1.8.31
I1019 03:41:12.325988 1 server.go:632] "kube-proxy running in dual-stack mode" primary ipFamily="IPv4"
I1019 03:41:12.364416 1 server_others.go:218] "Using ipvs Proxier"
......
这个例子说明 ConfigMap 的更新传播是有条件的:volume 挂载方式会周期性同步文件内容,但进程要不要重读配置取决于应用本身。kube-proxy 只在启动时读一次,所以必须重启。实验做完记得把模式改回 iptables,别把集群留在 ipvs 模式下。
6.6 综合案例:haproxy 反代两个 nginx
这个案例把 ConfigMap 的 volume 引用和 Pod 间通信串起来。需求是 haproxy 把流量轮询转发到 webapp-1 和 webapp-2 两个 nginx Pod,haproxy 的配置文件通过 ConfigMap 挂载。
创建 webapp-1 的 ConfigMap 和 Pod 。--from-literal 的值里含空格要加引号:
bash
root@master30:~# mkdir web && cd web
root@master30:~/web# kubectl create cm webapp-1 --from-literal=index.html="hello webapp-1" --from-literal=error.html="sorry, error."
configmap/webapp-1 created
root@master30:~/web# vim pod-webapp-1.yaml
apiVersion: v1
kind: Pod
metadata:
labels:
run: webapp-1
name: webapp-1
spec:
containers:
- name: nginx
image: hub.laoma.cloud/library/nginx:latest
imagePullPolicy: IfNotPresent
volumeMounts:
- name: config
mountPath: "/usr/share/nginx/html"
readOnly: true
volumes:
- name: config
configMap:
name: webapp-1
root@master30:~/web# kubectl apply -f pod-webapp-1.yaml
pod/webapp-1 created
readOnly: true 表示容器内不能写这个目录,防止应用意外改坏配置。
创建 webapp-2,步骤相同,只改名字:
bash
root@master30:~/web# kubectl create cm webapp-2 --from-literal=index.html="hello webapp-2" --from-literal=error.html="sorry, error."
configmap/webapp-2 created
root@master30:~/web# vim pod-webapp-2.yaml
apiVersion: v1
kind: Pod
metadata:
labels:
run: webapp-2
name: webapp-2
spec:
containers:
- name: nginx
image: hub.laoma.cloud/library/nginx:latest
imagePullPolicy: IfNotPresent
volumeMounts:
- name: config
mountPath: "/usr/share/nginx/html"
readOnly: true
volumes:
- name: config
configMap:
name: webapp-2
root@master30:~/web# kubectl apply -f pod-webapp-2.yaml
pod/webapp-2 created
获取两个 Pod 的 IP,写进 haproxy 配置:
bash
root@master30:~/web# kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
webapp-1 1/1 Running 0 63m 10.224.84.80 worker1.laoma.fun <none> <none>
webapp-2 1/1 Running 0 63m 10.224.149.25 worker2.laoma.fun <none> <none>
写 haproxy 配置并创建 ConfigMap 。--from-file=haproxy.cfg=./haproxy.cfg 把文件内容存到 key haproxy.cfg 下:
bash
root@master30:~/web# vim haproxy.cfg
global
daemon
maxconn 256
defaults
mode http
timeout connect 5000ms
timeout client 50000ms
timeout server 50000ms
frontend http-in
bind *:8080
default_backend servers
backend servers
server app1 10.224.84.80:80 check
server app2 10.224.149.25:80 check
root@master30:~/web# kubectl create cm haproxy.cfg --from-file=haproxy.cfg=./haproxy.cfg
configmap/haproxy.cfg created
创建 haproxy Pod 。挂载路径是 /usr/local/etc/haproxy,haproxy 镜像默认从这个目录读 haproxy.cfg:
bash
root@master30:~/web# vim pod-haproxy.yaml
---
apiVersion: v1
kind: Pod
metadata:
name: haproxy
spec:
containers:
- name: haproxy
image: hub.laoma.cloud/library/haproxy
imagePullPolicy: IfNotPresent
securityContext:
allowPrivilegeEscalation: true
volumeMounts:
- name: config
mountPath: "/usr/local/etc/haproxy"
readOnly: true
volumes:
- name: config
configMap:
name: haproxy.cfg
root@master30:~/web# kubectl apply -f pod-haproxy.yaml
pod/haproxy created
securityContext.allowPrivilegeEscalation: true 允许容器内的进程提权。haproxy 绑定端口和设置 chroot 需要一定权限,实验环境放开这个限制,生产环境应按实际需求收紧。
验证轮询。连续 curl 两次,返回不同的 webapp 内容,说明负载均衡生效:
bash
root@master30:~/web# kubectl get pods haproxy -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
haproxy 1/1 Running 0 33s 10.224.149.35 worker32.laoma.cloud <none> <none>
root@master30:~# curl http://10.224.149.35:8080
hello webapp-1
root@master30:~# curl http://10.224.149.35:8080
hello webapp-2
这个案例里 haproxy 直接写死了两个 Pod IP,Pod 重建 IP 变化就失效。生产环境不会这么配,应该用 Service 做服务发现。但作为 ConfigMap 挂载配置文件的演示,它把"配置文件从 ConfigMap 来、配置里的内容决定应用行为"这条链路走通了。
七、Secret
7.1 与 ConfigMap 的区别
Secret 专门存敏感数据,密码、token、证书私钥。结构和 ConfigMap 几乎一样,都有 data 和 binaryData,但有两个关键差异:
- Secret 的 data 字段值必须是 base64 编码 。这不是加密,只是编码,
base64 -d就能解出来。它的意义是避免敏感数据在 YAML 里以明文形式出现,同时支持二进制内容。真正的加密要靠 etcd 加密或外部密钥管理。 - Secret 有类型区分 。Opaque 是通用类型,还有
kubernetes.io/dockerconfigjson、kubernetes.io/tls等专用类型,kubelet 和控制器会根据类型做不同处理。
7.2 创建 generic 类型 Secret
从字面量创建:
bash
root@master30:~# kubectl create secret generic mysecret1 --from-literal=user=tom --from-literal=password1=redhat --from-literal=password2=redhat
secret/mysecret1 created
root@master30:~# kubectl get secrets
NAME TYPE DATA AGE
mysecret1 Opaque 3 21s
root@master30:~# kubectl get secrets mysecret1 -o yaml
apiVersion: v1
data:
password1: cmVkaGF0
password2: cmVkaGF0
user: dG9t
kind: Secret
metadata:
......
type: Opaque
验证 base64 编码关系:
bash
root@master30:~# echo -n tom | base64
dG9t
root@master30:~# echo -n redhat | base64
cmVkaGF0
root@master30:~# echo -n cmVkaGF0 | base64 -d
redhat
注意 echo -n 的 -n 表示不输出末尾换行符。不加 -n 的话,编码结果会多一个换行符的编码,和 Secret 里的值对不上。
kubectl get secrets mysecret1 -o jsonpath={.data} 可以只取 data 部分,配合 json_reformat(yajl-tools 包提供)做格式化输出:
bash
root@master30:~# kubectl get secrets mysecret1 -o jsonpath={.data} | json_reformat
{
"password1": "cmVkaGF0",
"password2": "cmVkaGF0",
"user": "amFjaw=="
}
kubectl describe secrets 显示每个键的字节数而不显示值,适合快速确认 Secret 内容是否完整:
bash
root@master30:~# kubectl describe secrets mysecret1
Name: mysecret1
Namespace: laoma
Labels: <none>
Annotations: <none>
Type: Opaque
Data
====
password1: 6 bytes
password2: 6 bytes
user: 3 bytes
从文件创建。文件名作 key,内容作 value:
bash
root@master30:~# echo -n tom > user
root@master30:~# echo -n redhat > password1
root@master30:~# echo -n redhat > password2
root@master30:~# kubectl create secret generic mysecret2 --from-file=./user --from-file=./password1 --from-file=./password2
secret/mysecret2 created
自定义 key 名,--from-file=username=./user 把 user 文件的内容存到 username 键下:
bash
root@master30:~# kubectl create secret generic mysecret3 --from-file=username=./user --from-file=./password1 --from-file=./password2
secret/mysecret3 created
从 env 文件创建 。文件里每行 KEY=VALUE 变成一个键值对:
bash
root@master30:~# echo 'user=tom
password1=redhat
password2=redhat' > env.txt
root@master30:~# kubectl create secret generic mysecret4 --from-env-file=./env.txt
secret/mysecret4 created
从目录创建。文件名作 key,内容作 value:
bash
root@master30:~# kubectl create secret generic mysecret5 --from-file=./config
secret/mysecret5 created
从 YAML 创建。data 字段直接写 base64 值:
yaml
apiVersion: v1
kind: Secret
metadata:
name: mysecret6
type: Opaque
data:
user: dG9t
password1: cmVkaGF0
password2: cmVkaGF0
7.3 docker-registry 类型
保存镜像仓库登录凭据,Pod 拉私有镜像时通过 imagePullSecrets 引用。回顾 docker login 的行为:登录信息默认保存在 ~/.dockercfg,后续 docker pull 和 push 使用该凭据文件访问 registry。kubectl 的 docker-registry Secret 就是把这个凭据文件搬到 Kubernetes 里。
bash
root@master30:~# kubectl create secret docker-registry registry --docker-username=laoma --docker-password=redhat --docker-email=admin@laoma.cloud --docker-server=registry.laoma.cloud
secret/registry created
四个选项分别对应 docker login 的用户名、密码、邮箱、仓库地址。生成的 Secret 类型是 kubernetes.io/dockerconfigjson:
bash
root@master30:~# kubectl get secrets docker-registry-secret -o yaml
apiVersion: v1
data:
.dockerconfigjson: eyJhdXRocyI6eyJyZWdpc3RyeS5yZWRoYXQuZnVuIjp7InVzZXJuYW1lIjoibGFvbWEiLCJwYXNzd29yZCI6InJlZGhhdCIsImVtYWlsIjoibGFvbWFAcmVkaGF0LmZ1biIsImF1dGgiOiJiR0Z2YldFNmNtVmthR0YwIn19fQ==
kind: Secret
metadata:
......
type: kubernetes.io/dockerconfigjson
data 里只有一个 .dockerconfigjson 键,值是整个 Docker 配置的 base64。Pod 里这样引用:
yaml
spec:
imagePullSecrets:
- name: registry
生产环境拉私有镜像基本都要配这个,否则 Pod 会卡在 ImagePullBackOff。
7.4 TLS 类型
保存证书和私钥,用于 Ingress 等需要 TLS 的场景。先生成自签证书:
bash
root@master30:~# mkdir certs && cd certs
root@master30:~/certs# openssl genrsa -out www.key 2048
root@master30:~/certs# openssl req -new -key www.key -out www.csr -subj "/C=CN/ST=JS/L=NJ/O=LM/OU=DEVOPS/CN=www.laoma.cloud/emailAddress=admin@laoma.cloud"
root@master30:~/certs# openssl x509 -req -days 3650 -in www.csr -signkey www.key -out www.crt
三条命令的作用:
openssl genrsa -out www.key 2048生成 2048 位 RSA 私钥。openssl req -new -key www.key -out www.csr -subj "..."生成证书签名请求,-subj直接指定主题信息避免交互式输入,CN必须是域名,这是 TLS 证书校验的关键字段。openssl x509 -req -days 3650 -in www.csr -signkey www.key -out www.crt用私钥自签证书,-days 3650有效期十年。自签证书浏览器会报不受信任,生产环境要用 CA 签发的证书。
创建 TLS 类型 Secret:
bash
root@master30:~/certs# kubectl create secret tls www-tls --cert=./www.crt --key=./www.key
secret/www-tls created
--cert 和 --key 分别指定证书和私钥文件,生成的 Secret 类型是 kubernetes.io/tls,包含 tls.crt 和 tls.key 两个键。
7.5 环境变量方式引用 Secret
bash
root@master30:~# vim pod-with-env-from-secret.yaml
---
apiVersion: v1
kind: Pod
metadata:
name: mysql
labels:
name: mysql
spec:
containers:
- image: hub.laoma.cloud/library/mysql:latest
imagePullPolicy: IfNotPresent
name: mysql
ports:
- containerPort: 3306
name: mysql
env:
- name: MYSQL_ROOT_PASSWORD
valueFrom:
secretKeyRef:
name: mysecret1
key: password1
secretKeyRef 的用法和 configMapKeyRef 完全对称,只是数据来源换成了 Secret。
bash
root@master30:~# kubectl apply -f pod-with-env-from-secret.yaml
pod/mysql created
root@master30:~# kubectl exec -it mysql -- bash -c 'echo $MYSQL_ROOT_PASSWORD'
redhat
root@master30:~# mysql -u root -predhat -h 10.224.51.131 --ssl-mode=DISABLED
--ssl-mode=DISABLED 是因为实验环境的 MySQL 没配 SSL,不加这个选项 mysql 客户端可能因 TLS 握手失败连不上。生产环境应该启用 SSL,这个参数不要照搬。
7.6 Volume 方式引用 Secret
引用整体:
bash
root@master30:~# echo Hello world > index.html
root@master30:~# echo error > error.html
root@master30:~# kubectl create secret generic web --from-file=./index.html --from-file=./error.html
secret/web created
yaml
apiVersion: v1
kind: Pod
metadata:
labels:
run: web
name: web
spec:
containers:
- image: hub.laoma.cloud/library/nginx:latest
imagePullPolicy: IfNotPresent
name: web
volumeMounts:
- name: webcontent
mountPath: "/usr/share/nginx/html"
volumes:
- name: webcontent
secret:
secretName: web
volumes.secret.secretName 引用 Secret,键值对变成挂载目录下的文件:
bash
root@master30:~# kubectl apply -f pod-with-volume-from-secret.yaml
pod/web created
root@master30:~# curl 10.224.51.136
Hello World
root@master30:~# curl 10.224.51.136/error.html
error
引用特定 key 。用 items 只挂载指定键:
yaml
volumes:
- name: webcontent
secret:
secretName: web
items:
- key: index.html
path: index.html
或者用 subPath 挂单个文件:
yaml
volumeMounts:
- name: webcontent
mountPath: "/usr/share/nginx/html/index.html"
subPath: index.html
验证时注意,subPath 方式挂载后,目录里只有 index.html,error.html 不会被挂进去:
bash
root@master30:~# kubectl exec web -- ls /usr/share/nginx/html
index.html
Secret 的 volume 挂载同样支持动态更新。改 Secret 内容后等几十秒,容器内文件会更新:
bash
root@master30:~# echo 'Hello Nginx' | base64
SGVsbG8gbmdpbng=
root@master30:~# kubectl edit secrets web
......
data:
index: SGVsbG8gbmdpbng=
......
root@master30:~# curl 10.224.51.137/index.html
Hello Nginx
7.7 文件权限
Secret 和 ConfigMap 挂载的文件默认权限是 644(八进制),即 420(十进制)。用 defaultMode 设整个卷的权限,用 items[].mode 设单个文件的权限。这两个字段的数值是十进制,因为 JSON 不支持八进制字面量,要自己换算。
yaml
volumes:
- name: foo
secret:
secretName: mysecret1
defaultMode: 256
256 十进制 = 400 八进制,即 r--------:
bash
root@master30:~# kubectl exec mypod1 -- ls -l /etc/foo/..data/user
-r-------- 1 root root 4 Aug 9 08:58 /etc/foo/..data/user
单文件权限:
yaml
items:
- key: user
path: user
mode: 511
511 十进制 = 777 八进制,即 rwxrwxrwx:
bash
root@master30:~# kubectl exec mypod1 -- ls -l /etc/foo/..data/user
-rwxrwxrwx 1 root root 4 Aug 9 08:58 /etc/foo/..data/user
生产环境里证书私钥通常设成 400 或 600,避免容器内其他进程读取。设成 777 只适合实验演示,别照搬到线上。
八、综合实验:Secret 存储密码与证书部署 WordPress
课程最后的综合实验要求用 mysql 和 nginx 镜像部署 WordPress,MySQL 密码和站点证书用 Secret 存储,通过 HTTPS 访问。这个实验把 Secret 的两种类型(generic 和 tls)和 volume 挂载串起来,思路如下:
- 创建 generic Secret 存 MySQL root 密码。
- 创建 TLS Secret 存证书私钥。
- 部署 MySQL Pod,用
secretKeyRef注入密码。 - 部署 nginx Pod,用 volume 挂载 TLS Secret 到证书目录,挂载 WordPress 文件到站点目录。
- 配置 nginx 的 HTTPS 配置,通过 ConfigMap 注入。
这个实验的完整清单篇幅较长,这里不逐个展开,关键是理解 Secret 在不同场景下的引用方式:密码类用环境变量注入,证书类用 volume 挂载到文件路径。HTTPS 配置里 nginx 需要读证书文件和私钥文件,所以必须是 volume 方式,环境变量方式没法给应用提供文件路径。
环境清理:
bash
root@master30:~# kubectl delete ns configure
九、几点工程上的提醒
emptyDir 和 hostPath 都不是持久化方案。emptyDir 随 Pod 删除消失,hostPath 绑死节点。真正要持久化用 PV/PVC 或者更上层的 StorageClass 动态制备。文档里提到 hostPath 只适合单节点测试,多节点集群应该用 local 卷或网络存储替代。
NFS 的 Delete 回收策略是无效的 。实验里看到了 no deletable volume plugin matched 的报错。选回收策略前先确认存储插件支持哪些,云盘和 CSI 驱动支持 Delete,NFS 只支持 Retain(Recycle 已废弃)。
accessModes 匹配是集合包含,不是优先级比较。PVC 申请的每个模式都要在 PV 的 accessModes 里出现,别按 RWO < RWX 这种顺序去理解。选存储类型时先确认它支持哪些模式,NFS 三种都支持,hostPath 只有 RWO。
ConfigMap 和 Secret 的更新传播分两种。volume 挂载会周期性同步文件内容,环境变量注入不会变。而且同步到文件不等于应用会重读配置,很多应用只在启动时读一次。改完配置要不要重启 Pod,取决于应用的配置加载机制,不能一概而论。kube-proxy 那个例子就是典型,ConfigMap 改了必须重启 Pod 才生效。
Secret 的 base64 不是加密 。kubectl get secret -o yaml 拿到 data 后 base64 -d 就能还原明文。Secret 的安全依赖 RBAC 控制谁能读、etcd 静态加密、以及不把 Secret 提交到代码仓库。生产环境别把 Secret 的 YAML 直接 commit 到 Git,用 SealedSecret、External Secrets 这类方案。
环境变量注入 Secret 有泄露风险 。容器内 env 命令能看到所有环境变量,如果应用有命令注入漏洞或者把环境变量打到日志里,密码就泄露了。敏感配置优先用 volume 挂载,文件权限收紧,比环境变量可控。
ConfigMap 大小上限 1MiB。它不是用来存大文件的,需要存大配置或二进制资源时用 PVC 挂载存储卷。把几 MB 的配置文件塞 ConfigMap 会导致 etcd 压力大、kubelet 同步慢。
PyCharm 的 Kubernetes 插件只是辅助 。自动补全和 schema 校验能减少低级错误,但字段语义、匹配规则这些还是要靠对 API 的理解。YAML 写完后用 kubectl apply --dry-run=server 做一次服务端校验,比编辑器提示可靠。
证书有效期和轮换。TLS Secret 里的证书有有效期,实验里自签十年图省事,生产环境证书一般一年或更短,要有轮换机制。证书过期后 Ingress 会报证书错误,访问直接失败,这个在监控里要单独设告警。
小结
这篇笔记从 emptyDir 的临时共享,到 hostPath 的节点目录挂载,再到 NFS 的跨节点共享,最后到 PV/PVC 的存储抽象,把 Kubernetes 里数据持久化的几条路径走了一遍。emptyDir 解决同 Pod 内容器共享临时数据,hostPath 适合节点级资源访问,NFS 和 PV/PVC 才是生产环境持久化存储的正路。PV/PVC 的价值在于把"存储怎么配"和"应用要什么"分开,管理员管 PV,开发管 PVC,绑定由控制平面完成。accessModes 的集合包含匹配规则和回收策略的行为,是排查 PVC 一直 Pending、PV 删不掉这类问题的关键知识点。
ConfigMap 和 Secret 解决配置注入问题,前者存普通配置,后者存敏感数据。两者都支持环境变量和 volume 两种引用方式,区别在于 volume 方式支持动态更新、文件权限可控,环境变量方式简单但更新不生效、有泄露风险。综合案例里 haproxy 的配置通过 ConfigMap 挂载,演示了配置与镜像解耦的实际用法;kube-proxy 的例子则说明了配置改了不等于生效,应用的配置加载机制决定要不要重启。
下一篇进入工作负载控制器,Deployment、StatefulSet、DaemonSet 这些才是生产环境管理 Pod 的正确方式。裸 Pod 没有自愈、没有滚动更新、没有副本管理,只适合实验和调试。Volume 部分今天只覆盖了静态 PV,StorageClass 动态制备是生产环境更常用的方式,后续会展开。