云原生运维学习笔记:Kubernetes Volume 与 Secret 实验

Kubernetes Volume 与配置管理实战笔记

写在前面

前两篇笔记完成了 Kubernetes 集群安装和 Pod 基础管理的梳理。集群能跑 Pod 之后,马上会遇到两个绕不开的问题:数据往哪放 ,以及配置怎么管。容器本身是临时的,容器内写的数据随容器销毁而消失,数据库文件、上传目录、日志这些需要持久化的内容,靠容器本地文件系统是留不住的。配置方面,把数据库密码、证书私钥直接写进镜像或 YAML 里,既不安全也不好维护,改一个密码就要重新构建镜像或者手动改清单。

今天的内容就是解决这两个问题:Volume 负责数据持久化和容器间共享,ConfigMap 和 Secret 负责配置与敏感信息的注入。课程还安排了 PyCharm 编写 YAML 的环境配置,这部分属于工具链准备,放在开头简单带过,重点还是 Volume 和配置管理。

环境延续前两篇:Kubernetes v1.30.2,containerd 运行时,镜像仓库 hub.laoma.cloud。所有操作在 master30 上执行。


一、环境准备与 YAML 编写工具

先建独立命名空间,把今天的实验资源隔离出来。kubectl create ns 创建命名空间,kubectl config set-context --current --namespace 把当前上下文的默认命名空间切过去:

bash 复制代码
root@master30:~# kubectl create ns storage
root@master30:~# kubectl config set-context --current --namespace storage

--current 表示操作当前上下文,不用写上下文名称;--namespace storage 指定新的默认命名空间。执行后后续 kubectl get pod 不带 -n 也只列 storage 里的资源。

关于 YAML 编写工具,课程介绍了 PyCharm 配合 Kubernetes 插件做自动补全和 schema 校验。实际工作中用 VSCode 的 YAML 插件或者直接 vim 的也不少,工具不是重点,重点是把 apiVersion、kind、metadata、spec 这几层结构写对。PyCharm 插件的价值在于字段级补全和缩进校验,能减少字段名拼写和缩进错误。几个使用要点:

  • 新建 YAML 文件后,如果首行 apiVersion 不能补全,是因为插件还没识别文件类型。右键文件 → 重写文件类型 → 选 Kubernetes Yaml,之后补全就正常了。
  • 插件通过 schema 校验字段合法性,写错字段名会标红。但 schema 校验只保证结构合法,不保证字段值符合你的业务逻辑,比如 accessModes 和存储后端是否匹配,还是要靠对 API 的理解。
  • 写完 YAML 后用 kubectl apply --dry-run=server 做一次服务端校验,比编辑器提示可靠。--dry-run=server 会把清单发给 API Server 做完整校验,包括 webhook 和准入控制,但不会真正创建资源。

PyCharm 的安装和激活流程属于环境配置,这里不展开。核心结论是:工具能减少低级错误,但字段语义和匹配规则还是要靠对 API 的理解。


二、emptyDir

2.1 特性

emptyDir 是 Pod 级别的临时卷。Pod 被调度到节点时创建,Pod 在该节点上运行期间一直存在,Pod 被删除时数据一并删除。容器崩溃重启不会丢数据,因为 emptyDir 的生命周期跟着 Pod 走,不跟容器走。适用场景是同一 Pod 内多容器共享临时数据,比如 sidecar 读取业务容器写的日志文件,或者 init 容器准备数据给业务容器用。

2.2 实验

清单 pod-with-emptyDir.yaml 定义两个 busybox 容器,共享一个 emptyDir:

bash 复制代码
root@master30:~# vim pod-with-emptyDir.yaml
apiVersion: v1
kind: Pod
metadata:
  name: busybox
  labels:
    app: busybox
spec:
  volumes:
  - name: datavolume
    emptyDir: {}
  containers:
  - name: busybox1
    image: hub.laoma.cloud/library/busybox
    imagePullPolicy: IfNotPresent
    command: ['sh', '-c', 'echo Hello Kubernetes! && sleep 3600']
    volumeMounts:
    - mountPath: /data
      name: datavolume
  - name: busybox2
    image: hub.laoma.cloud/library/busybox
    imagePullPolicy: IfNotPresent
    command: ['sh', '-c', 'echo Hello Kubernetes! && sleep 3600']
    volumeMounts:
    - mountPath: /data
      name: datavolume

字段说明:

  • spec.volumes 是 Pod 级别的卷定义,name: datavolume 是卷的标识,emptyDir: {} 表示空对象,使用默认配置(默认使用节点磁盘,可加 medium: Memory 改用内存盘)。
  • spec.containers.volumeMounts 是容器级别对卷的引用,name 必须与 volumes 里的 name 对应,mountPath: /data 是容器内的挂载点。
  • imagePullPolicy: IfNotPresent 表示本地有镜像就不拉取,加快启动。

创建 Pod:

bash 复制代码
root@master30:~# kubectl apply -f pod-with-emptyDir.yaml
pod/busybox created

取容器 ID 和所在节点。egrep -o 'Container ID.*//.{12}' 提取 Container ID 行并截取运行时前缀加 12 位短 ID,grep Node: 取节点信息:

bash 复制代码
root@master30:~# kubectl describe pod busybox | egrep -o 'Container ID.*//.{12}'
Container ID:  containerd://07d189383321
Container ID:  containerd://bb02c680ca8a

root@master30:~# kubectl describe pod busybox | grep Node:
Node:             worker32.laoma.cloud/10.1.8.32

登录 worker32 用 crictl 查看容器挂载详情。crictl inspect 输出容器的完整配置,grep datavolume 过滤出卷相关部分:

bash 复制代码
root@worker32:~# crictl inspect 07d189383321 | grep datavolume
        "hostPath": "/var/lib/kubelet/pods/8417656f-4b6c-4b2a-a2f3-f4a248c4c043/volumes/kubernetes.io~empty-dir/datavolume",
          "host_path": "/var/lib/kubelet/pods/8417656f-4b6c-4b2a-a2f3-f4a248c4c043/volumes/kubernetes.io~empty-dir/datavolume"
          "source": "/var/lib/kubelet/pods/8417656f-4b6c-4b2a-a2f3-f4a248c4c043/volumes/kubernetes.io~empty-dir/datavolume",

可以看到 emptyDir 在宿主机上的实际路径是 /var/lib/kubelet/pods/<pod-uid>/volumes/kubernetes.io~empty-dir/<卷名>。这个路径在排查卷相关问题时有用,可以直接到节点上确认文件是否真的写进去了。

在 busybox1 里创建文件,busybox2 里能看到,说明两个容器共享同一个卷:

bash 复制代码
root@master30:~# kubectl exec busybox -c busybox1 -- touch /data/b1-f1
root@master30:~# kubectl exec busybox -c busybox2 -- ls /data
b1-f1

宿主机上对应目录也能看到这个文件:

bash 复制代码
root@worker32:~# ls /var/lib/kubelet/pods/8417656f-4b6c-4b2a-a2f3-f4a248c4c043/volumes/kubernetes.io~empty-dir/datavolume
b1-f1

删除 Pod 后验证数据消失。--force 表示立即删除,跳过优雅终止等待:

bash 复制代码
root@master30:~# kubectl delete pod busybox --force
root@worker32:~# ls /var/lib/kubelet/pods/8417656f-4b6c-4b2a-a2f3-f4a248c4c043/volumes/kubernetes.io~empty-dir/datavolume
ls: cannot access '/var/lib/kubelet/pods/8417656f-4b6c-4b2a-a2f3-f4a248c4c043/volumes/kubernetes.io~empty-dir/datavolume': No such file or directory

注意删除 Pod 后目录清理不是瞬时的,kubelet 需要一些时间做卷卸载和目录回收。刚删完立刻 ls 可能还能看到,等几秒再查才消失。课程文档末尾也提到了这一点。


三、hostPath

3.1 特性

hostPath 把节点文件系统上的某个目录或文件挂载进 Pod。数据存在节点上,Pod 删除后数据保留。适用于需要访问节点级资源的场景,比如读取 /var/log 做日志采集、挂载 /dev 下的设备、或者 DaemonSet 类工作负载访问节点文件。但 hostPath 有两个明显缺陷:一是 Pod 调度到哪个节点,数据就在哪个节点上,Pod 重建换节点就看不到旧数据;二是多个 Pod 写同一路径会互相干扰。生产环境除 DaemonSet 类场景外很少直接用 hostPath,需要本地持久化时通常用 local 卷或 PV 包装 hostPath。

3.2 实验

bash 复制代码
root@master30:~# vim pod-with-hostPath.yaml
apiVersion: v1
kind: Pod
metadata:
  name: busybox
  labels:
    app: busybox
spec:
  volumes:
  - name: datavolume
    hostPath:
      path: /busyboxdir
  containers:
  - name: busybox1
    image: hub.laoma.cloud/library/busybox
    imagePullPolicy: IfNotPresent
    command: ['sh', '-c', 'echo Hello Kubernetes! && sleep 3600']
    volumeMounts:
    - mountPath: /data
      name: datavolume
  - name: busybox2
    image: hub.laoma.cloud/library/busybox
    imagePullPolicy: IfNotPresent
    command: ['sh', '-c', 'echo Hello Kubernetes! && sleep 3600']
    volumeMounts:
    - mountPath: /data
      name: datavolume
      readOnly: false

字段说明:

  • hostPath.path: /busyboxdir 指定节点上的目录。注意 hostPath 默认没有 type 字段,如果目录不存在,kubelet 创建 Pod 时可能因权限或路径问题失败。显式指定 type: DirectoryOrCreate 可以让 kubelet 自动创建目录。生产环境建议总是显式指定 type,可选值包括 DirectoryOrCreate、Directory、FileOrCreate、File、Socket、CharDevice、BlockDevice。
  • readOnly: false 控制挂载是否只读,默认就是 false(读写)。设成 true 则容器内只能读不能写。

创建并查看挂载:

bash 复制代码
root@master30:~# kubectl apply -f pod-with-hostPath.yaml
pod/busybox created

root@master30:~# kubectl describe pod busybox | egrep -o 'Container ID.*//.{12}'
Container ID:  containerd://318922d0c666
Container ID:  containerd://0688146babe5

root@master30:~# kubectl describe pod busybox | grep Node:
Node:             worker32.laoma.cloud/10.1.8.32

root@worker32:~# crictl inspect 318922d0c666 | grep busyboxdir
        "hostPath": "/busyboxdir",
          "host_path": "/busyboxdir"
          "source": "/busyboxdir",

写数据并验证共享。busybox1 写文件,busybox2 能读到:

bash 复制代码
root@master30:~# kubectl exec busybox -c busybox1 -- touch /data/b1-f1
root@master30:~# kubectl exec busybox -c busybox2 -- ls /data
b1-f1

如果在 busybox2 的 volumeMounts 里设了 readOnly: true,再写就会报错:

bash 复制代码
root@master30:~# kubectl exec busybox -c busybox2 -- touch /data/b2-f2
touch: /data/b2-f2: Read-only file system

节点上查看数据,然后删除 Pod 验证数据保留:

bash 复制代码
root@worker32:~# ls /busyboxdir/
b1-f1

root@master30:~# kubectl delete pod busybox --force
root@worker32:~# ls /busyboxdir/
b1-f1

hostPath 的数据在 Pod 删除后保留,这是它和 emptyDir 的本质区别。但也要清楚,这个"保留"只是在当前节点上保留,Pod 换节点调度就找不到了,不能当作跨节点的持久化方案。


四、NFS 存储

4.1 准备 NFS 服务端

NFS 是网络文件系统,多个节点可以同时挂载同一个共享目录,数据存在 NFS 服务端,与 Pod 调度到哪个节点无关。这是实验环境里模拟共享存储最方便的方式,生产环境里 NAS 存储也属于这一类。

在 master30 上安装 NFS 服务端:

bash 复制代码
root@master30:~# apt install -y nfs-kernel-server

创建共享目录并放一个测试文件。mkdir -m 777 的 -m 指定目录权限,777 让所有用户可读写,实验环境图省事,生产环境要按最小权限原则收紧:

bash 复制代码
root@master30:~# mkdir -m 777 /nfsshares
root@master30:~# echo hello laoma > /nfsshares/index.html

配置共享。/etc/exports 每行一个共享,/nfsshares *(rw) 表示该目录对所有客户端开放读写。生产环境应该指定网段,比如 172.16.2.0/24(rw,sync),sync 表示同步写入,数据安全性更高但性能略低:

bash 复制代码
root@master30:~# cat << EOF > /etc/exports
/nfsshares *(rw)
EOF

重启 NFS 服务使配置生效:

bash 复制代码
root@master30:~# systemctl restart nfs-server.service

两个 worker 节点安装 NFS 客户端。挂载 NFS 需要 nfs-common 提供 mount.nfs 辅助程序:

bash 复制代码
root@worker31:~# apt install -y nfs-common
root@worker32:~# apt install -y nfs-common

4.2 Pod 使用 NFS 卷

清单 pod-with-nfs.yaml 把 NFS 共享挂到 nginx 的站点目录:

bash 复制代码
root@master30:~# vim pod-with-nfs.yaml
apiVersion: v1
kind: Pod
metadata:
  labels:
    run: nginx
  name: nginx
spec:
  volumes:
  - name: nfs
    nfs:
      server: 10.1.8.30
      path: "/nfsshares"
  containers:
  - image: hub.laoma.cloud/library/nginx
    name: nginx
    volumeMounts:
    - name: nfs
      mountPath: "/usr/share/nginx/html"

字段说明:

  • nfs.server 是 NFS 服务端地址,nfs.path 是共享目录路径。这两个字段必须与实际 exports 配置一致。
  • mountPath: /usr/share/nginx/html 把共享目录挂到 nginx 默认站点目录,这样访问 nginx 就是读 NFS 上的文件。
  • nfs 卷默认是读写模式,如果要只读,在 volumeMounts 里加 readOnly: true。

创建并验证挂载:

bash 复制代码
root@master30:~# kubectl apply -f pod-with-nfs.yaml
pod/nginx created

root@master30:~# kubectl describe pod nginx | egrep -o 'Container ID.*//.{12}'
Container ID:   containerd://c5e734dab9b5

root@master30:~# kubectl describe pod nginx | grep Node:
Node:             worker32.laoma.cloud/10.1.8.32

root@worker32:~# crictl inspect c5e734dab9b5 | grep -e nfs -e html
        "containerPath": "/usr/share/nginx/html",
        "hostPath": "/var/lib/kubelet/pods/b5bd3f1a-3ef4-4327-95ff-61352268ee41/volumes/kubernetes.io~nfs/nfs",
          "container_path": "/usr/share/nginx/html",
          "host_path": "/var/lib/kubelet/pods/b5bd3f1a-3ef4-4327-95ff-61352268ee41/volumes/kubernetes.io~nfs/nfs"
          "destination": "/usr/share/nginx/html",
          "source": "/var/lib/kubelet/pods/b5bd3f1a-3ef4-4327-95ff-61352268ee41/volumes/kubernetes.io~nfs/nfs",

df 确认 NFS 挂载生效。grep nfsshare 过滤出 NFS 那一行,能看到服务端地址和挂载点:

bash 复制代码
root@worker32:~# df | grep nfsshare
10.1.8.30:/nfsshares              101590016 6659072  89723904   7% /var/lib/kubelet/pods/b5bd3f1a-3ef4-4327-95ff-61352268ee41/volumes/kubernetes.io~nfs/nfs

访问 Pod,curl 返回的是 NFS 上 index.html 的内容:

bash 复制代码
root@master30:~# kubectl get pod -o wide
NAME    READY   STATUS    RESTARTS   AGE     IP              NODE                   NOMINATED NODE   READINESS GATES
nginx   1/1     Running   0          5m19s   10.224.51.171   worker32.laoma.cloud   <none>           <none>

root@master30:~# curl 10.224.51.171
hello laoma

容器内写文件,NFS 服务端能看到:

bash 复制代码
root@master30:~# kubectl exec nginx -- touch /usr/share/nginx/html/test.html
root@master30:~# ls /nfsshares
index.html  test.html

删除 Pod 验证数据保留:

bash 复制代码
root@master30:~# kubectl delete pod nginx --force
pod "nginx" deleted
root@master30:~# ls /nfsshares
index.html  test.html

NFS 卷的数据存在服务端,Pod 删除、重建、换节点都不影响,这是它比 hostPath 更适合持久化的原因。


五、PV 和 PVC

5.1 为什么需要 PV/PVC

直接写 nfs 卷的 YAML 有个问题:存储地址和路径硬编码在 Pod 定义里,开发人员得知道 NFS 服务器 IP 和目录结构。这违背了职责分离------存储怎么配是集群管理员的事,开发只应该声明"我要 5Gi 读写卷"。

PV/PVC 就是这层抽象。PV(PersistentVolume)是集群级资源 ,由管理员创建,描述一块实际存储(NFS、云盘、Ceph 等)。PVC(PersistentVolumeClaim)是命名空间级资源,由开发创建,声明容量和访问模式。Kubernetes 控制平面负责把 PVC 和匹配的 PV 绑定,Pod 通过引用 PVC 使用存储。这样 Pod 清单里不需要出现任何存储后端细节,换存储后端时 Pod 定义不用改。

5.2 创建 PV

bash 复制代码
root@master30:~# vim pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
  name: web
spec:
  capacity:
    storage: 5Gi
  volumeMode: Filesystem
  accessModes:
    - ReadWriteOnce
  nfs:
    path: /nfsshares
    server: 10.1.8.30

字段说明:

  • capacity.storage: 5Gi 声明 PV 容量。这个值对 NFS 来说只是逻辑标记,不会真的限制 NFS 目录大小,但 PVC 匹配时按这个值判断能否满足请求。
  • volumeMode: Filesystem 表示以文件系统方式挂载,是默认值。另一个可选值是 Block。
  • accessModes: [ReadWriteOnce] 声明访问模式,RWO 表示可以被一个节点以读写方式挂载。
  • nfs 是后端存储的具体实现,PV 支持很多种后端插件。
bash 复制代码
root@master30:~# kubectl apply -f pv.yaml
persistentvolume/web created
root@master30:~# kubectl get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
web    5Gi        RWO            Retain           Available                                  3s

STATUS 为 Available,表示还没被 PVC 绑定。RECLAIM POLICY 显示 Retain,因为没显式指定回收策略时默认就是 Retain。

5.3 创建 PVC

bash 复制代码
root@master30:~# vim pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: webclaim
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 5Gi

字段说明:

  • accessModes 必须与目标 PV 的 accessModes 匹配。匹配规则是"PV 的 accessModes 必须包含 PVC 申请的所有模式",不是简单的数值比较。
  • resources.requests.storage: 5Gi 是申请的容量,PV 容量必须大于等于这个值才能绑定。
bash 复制代码
root@master30:~# kubectl apply -f pvc.yaml
persistentvolumeclaim/webclaim created
root@master30:~# kubectl get pvc
NAME       STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
webclaim   Bound    web      5Gi        RWO                           4s

STATUS 为 Bound,VOLUME 列显示绑定的 PV 名称。此时 kubectl get pv 再看,web 的 STATUS 会变成 Bound,CLAIM 列显示 storage/webclaim。

5.4 Pod 使用 PVC

bash 复制代码
root@master30:~# vim pod-with-pvc.yaml
apiVersion: v1
kind: Pod
metadata:
  name: web
  labels:
    name: web
spec:
  containers:
    - image: hub.laoma.cloud/library/nginx
      name: web
      ports:
        - containerPort: 80
          name: web-port
      volumeMounts:
        - name: web-persistent-storage
          mountPath: /usr/share/nginx/html
  volumes:
    - name: web-persistent-storage
      persistentVolumeClaim:
        claimName: webclaim

关键字段是 volumes.persistentVolumeClaim.claimName,引用的是同命名空间下的 PVC 名称。Pod 不需要知道后端是 NFS 还是别的,PVC 屏蔽了存储细节。

bash 复制代码
root@master30:~# kubectl apply -f pod-with-pvc.yaml
pod/web created
root@master30:~# kubectl get pod -o wide
NAME   READY   STATUS    RESTARTS   AGE   IP              NODE                  NOMINATED NODE   READINESS GATES
web    1/1     Running   0          35s   10.224.193.69   worker32.laoma.cloud   <none>          <none>

root@master30:~# curl http://10.224.193.69
hello laoma
root@master30:~# echo test > /nfsshares/test.html
root@master30:~# curl http://10.224.193.69/test.html
test

删除 Pod 后 PVC 和 PV 都还在,数据也保留。要清理存储资源得单独删 PVC 和 PV。

5.5 accessModes 详解

四个取值:

  • ReadWriteOnce(RWO):卷可以被一个节点以读写方式挂载。注意约束单位是节点,不是 Pod------同一节点上的多个 Pod 可以同时读写同一个 RWO 卷。
  • ReadOnlyMany(ROX):卷可以被多个节点以只读方式挂载。
  • ReadWriteMany(RWX):卷可以被多个节点以读写方式挂载。NFS、CephFS、GlusterFS 这类共享文件系统支持。
  • ReadWriteOncePod(RWOP):卷只能被单个 Pod 以读写方式挂载。这是最严格的模式,需要 Kubernetes 1.22+ 和 CSI 驱动支持。

不同存储后端支持的模式不同,选型时要先确认。NFS 支持 RWO、ROX、RWX 三种,hostPath 只支持 RWO。另外要记住:同一个卷同一时刻只能以一种模式挂载,不能既 RWO 又 ROX。一个 GCEPersistentDisk 卷可以被某节点以 ReadWriteOnce 模式挂载,或者被多个节点以 ReadOnlyMany 模式挂载,但不可以同时以两种模式挂载。

匹配规则这里容易误解。Kubernetes 对 accessModes 的匹配是集合包含关系,PVC 申请的每个模式都必须在 PV 的 accessModes 列表里出现,不是按 RWO < RWX 这种优先级排序。文档里提到"PV 的 accessModes 必须高于 PVC 申请的最低要求",更准确的理解是 PV 的 accessModes 集合要覆盖 PVC 申请的集合。下面这个实践能把规则说清楚:

  • 准备 PV1:5G、RWO
  • 准备 PV2:8G、RWX
  • 准备 PV3:10G、RWO、RWX
  • 准备 PVC1:8G、RWO

PVC1 最终和 PV3 绑定。原因:PV1 容量 5G 不够;PV2 只有 RWX,不包含 PVC 申请的 RWO,不匹配;PV3 容量 10G 够且同时列了 RWO 和 RWX,满足集合包含。这个例子说明容量和模式是同时判断的,缺一不可。

5.6 volumeModes

  • Filesystem:卷挂载为目录,默认值。如果底层块设备为空,kubelet 会在第一次挂载前创建文件系统。
  • Block :卷作为原始块设备交给 Pod,容器内通过 volumeDevices.devicePath 指定设备路径,而不是 volumeMounts.mountPath。适合需要直接操作块设备的应用,比如某些数据库。

Block 模式的 PV 示例:

yaml 复制代码
apiVersion: v1
kind: PersistentVolume
metadata:
  name: block-pv
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteOnce
  volumeMode: Block
  persistentVolumeReclaimPolicy: Retain
  fc:
    targetWWNs: ["50060e801049cfd1"]
    lun: 0
    readOnly: false

Pod 里配置的是 volumeDevices:

yaml 复制代码
      volumeDevices:
        - name: data
          devicePath: /dev/xvda

而不是 volumeMounts,这是两种模式在 Pod 定义上的核心区别。向 Pod 中添加原始块设备时,要在容器内设置设备路径而不是挂载路径。

5.7 PV 回收策略

PVC 删除后,PV 怎么处理由 persistentVolumeReclaimPolicy 决定。

Retain(保留),默认策略。PVC 删除后 PV 进入 Released 状态,数据保留,但 PV 上还留着上一次的 claimRef 信息,不能直接给新 PVC 用。要手动删掉 claimRef 才能重新绑定。实验里演示了这个过程:

bash 复制代码
root@master30:~# kubectl delete pvc webclaim
persistentvolumeclaim "webclaim" deleted
root@master30:~# kubectl get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS     CLAIM              STORAGECLASS   REASON   AGE
web    5Gi        RWO            Retain           Released   default/webclaim                           3m4s

新建一个 PVC 申请同样容量,会一直 Pending,因为 PV 处于 Released:

bash 复制代码
root@master30:~# kubectl apply -f pvc-db.yaml
persistentvolumeclaim/dbclaim created
root@master30:~# kubectl get pvc dbclaim
NAME      STATUS    VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
dbclaim   Pending                                                     11s

手动编辑 PV 删掉 claimRef 部分:

bash 复制代码
root@master30:~# kubectl edit pv web
......
spec:
  accessModes:
  - ReadWriteOnce
  capacity:
    storage: 5Gi
  # 删除claimRef部分
  # claimRef:
  #   apiVersion: v1
  #   kind: PersistentVolumeClaim
  #   name: webclaim
  #   namespace: test
  #   resourceVersion: "112157"
  #   uid: 0839cdc1-81bb-11e9-9ca8-52540000fa0a
  # 删除claimRef部分
  nfs:
    path: /web
    server: 10.1.8.30
......

保存后 PV 变回 Available,dbclaim 自动绑定:

bash 复制代码
root@master30:~# kubectl get pvc dbclaim
NAME      STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
dbclaim   Bound    web      5Gi        RWO                           3m49s

清理环境时要注意,删除 PV 不会删除后端存储中的数据:

bash 复制代码
root@master30:~# kubectl delete pvc dbclaim
root@master30:~# kubectl delete pv web
root@master30:~# ls /nfsshares/
index.html  test.html

Recycle(回收),已废弃。行为与 Retain 基本一致,不建议使用。替代方案是动态制备。

Delete(删除),删除 PV 对象的同时删除后端存储资产。但要注意,这个策略只有支持 Delete 的存储插件才有效。NFS 不支持 Delete,设了 Delete 后 PVC 删除时 PV 会进入 Failed 状态:

bash 复制代码
root@master30:~# kubectl get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM              STORAGECLASS   REASON   AGE
web    5Gi        RWO            Delete           Failed   default/webclaim                           33s

root@master30:~# kubectl describe pv web
......
Events:
  Type     Reason              Age   From                         Message
  ----     ------              ----  ----                         -------
  Warning  VolumeFailedDelete  50s   persistentvolume-controller  error getting deleter volume plugin for volume "web": no deletable volume plugin matched

no deletable volume plugin matched 就是 NFS 不支持 Delete 的直接证据。云盘类存储(AWS EBS、GCE PD、阿里云盘)才支持真正的 Delete。此时只能手动删除 PV,手动删 PV 同样不会删除后端存储数据。

5.8 定向绑定

如果希望某个 PV 只给特定 PVC 用,在 PV 里加 claimRef 预绑定:

yaml 复制代码
spec:
  claimRef:
    name: webclaim
    namespace: test

这样其他 PVC 申请时不会被这个 PV 匹配到,只有 namespace 为 test、name 为 webclaim 的 PVC 能绑定。生产环境里管理员给关键业务预留存储时用得上,避免普通 PVC 抢走重要业务的存储资源。

5.9 PV 卷类型与弃用情况

PV 持久卷用插件形式实现。当前主流支持的插件包括:

  • csi - 容器存储接口,现代存储对接的标准方式
  • fc - 光纤通道
  • hostPath - 单节点测试用,不适用于多节点集群
  • iscsi - iSCSI 存储
  • local - 节点本地存储设备
  • nfs - 网络文件系统

以下持久卷已被弃用,当前仍支持但未来版本会移除:azureFile(v1.21 弃用)、flexVolume(v1.23 弃用)、gcePersistentDisk(v1.17 弃用)、portworxVolume(v1.25 弃用)、vsphereVolume(v1.19 弃用)、cephfs(v1.28 弃用)、rbd(v1.28 弃用)。

以下树内卷类型从特定版本开始不可用:awsElasticBlockStore(v1.27 起)、azureDisk(v1.27 起)、cinder(v1.27 起)、photonPersistentDisk(v1.15 起)、scaleIO(v1.21 起)、flocker(v1.25 起)、quobyte(v1.25 起)、storageos(v1.25 起)。

这个趋势很明确:树内(In-Tree)存储插件逐步被 CSI 替代,新环境选型优先考虑 CSI 驱动。


六、ConfigMap

6.1 概念

ConfigMap 用来存非敏感的配置数据,键值对形式,大小上限 1MiB。它解耦了配置和镜像------同一个镜像在不同环境用不同 ConfigMap 就能跑不同配置,不用重新构建镜像。

ConfigMap 的 data 字段存 UTF-8 字符串,binaryData 字段存 base64 编码的二进制数据。名字必须是合法的 DNS 子域名,键名只能由字母、数字、-、_、. 组成,data 和 binaryData 下的键名不能重叠。从 v1.19 开始支持 immutable: true 创建不可变更的 ConfigMap,不可变更的 ConfigMap 不能修改 data,只能删除重建,好处是减少 kubelet 同步压力。

使用建议:ConfigMap 存配置数据,不存业务数据或大文件,1MiB 上限是有意设计的。需要存大量数据时用挂载存储卷或者独立数据库、文件服务。

6.2 创建方式

从字面量创建 。--from-literal 直接给键值对,适合少量简单配置:

bash 复制代码
root@master30:~# kubectl create configmap mysql --from-literal=password=redhat
configmap/mysql created
root@master30:~# kubectl get configmaps mysql -o yaml | grep ^data -A1
data:
  password: redhat

从文件创建 。--from-file 把文件内容作为 value,文件名作为 key:

bash 复制代码
root@master30:~# echo Hello World > index.html
root@master30:~# kubectl create configmap web1 --from-file=./index.html
configmap/web1 created
root@master30:~# kubectl get configmaps web1 -o yaml | grep ^data -A2
data:
  index.html: |
    Hello World

--from-file 也可以自定义 key:--from-file=自定义key=文件路径,这样 key 不一定是文件名。

从目录创建 。--from-file 跟目录时,目录下每个文件都变成一个键值对:

bash 复制代码
root@master30:~# echo error > error.html
root@master30:~# mkdir web2
root@master30:~# mv index.html error.html web2
root@master30:~# kubectl create configmap web2 --from-file=./web2
configmap/web2 created
root@master30:~# kubectl get configmaps web2 -o yaml | grep ^data -A4
data:
  error.html: |
    error
  index.html: |
    Hello World

--from-env-file 和 --from-file 的区别要分清:--from-file 把整个文件内容作为单个 value;--from-env-file 解析文件里的 KEY=VALUE 行,每行变成一个键值对。前者适合配置文件,后者适合环境变量文件。

6.3 环境变量方式引用

bash 复制代码
root@master30:~# vim pod-with-env-from-configmap.yaml
---
apiVersion: v1
kind: Pod
metadata:
  name: mysql
  labels:
    name: mysql
spec:
  containers:
  - image: hub.laoma.cloud/library/mysql:latest
    imagePullPolicy: IfNotPresent
    name: mysql
    ports:
    - containerPort: 3306
      name: mysql
    env:
    - name: MYSQL_ROOT_PASSWORD
      valueFrom:
        configMapKeyRef:
          name: mysql
          key: password

valueFrom.configMapKeyRef 指定从 ConfigMap 取值的来源,name 是 ConfigMap 名,key 是其中的键。与直接写 value: redhat 相比,密码不再出现在 Pod 定义里。

bash 复制代码
root@master30:~# kubectl apply -f pod-with-env-from-configmap.yaml
pod/mysql created

root@master30:~# kubectl exec -it mysql -- bash -c 'echo $MYSQL_ROOT_PASSWORD'
redhat

验证 MySQL 能用这个密码连上:

bash 复制代码
root@master30:~# apt install -y mysql-client
root@master30:~# mysql -u root -predhat -h 10.224.193.70
mysql: [Warning] Using a password on the command line interface can be insecure.
......
mysql> quit
Bye

环境变量方式有一个限制:ConfigMap 更新后,已经注入的环境变量不会变,要重启 Pod 才生效。这是环境变量和 volume 挂载的重要区别。

6.4 Volume 方式引用

引用整体。把 ConfigMap 所有键值对挂到目录,每个 key 变成一个文件:

bash 复制代码
root@master30:~# vim pod-with-volume-from-configmap.yaml
---
apiVersion: v1
kind: Pod
metadata:
  labels:
    run: web
  name: web
spec:
  containers:
  - image: hub.laoma.cloud/library/nginx:latest
    imagePullPolicy: IfNotPresent
    name: web
    volumeMounts:
    - name: webcontent
      mountPath: "/usr/share/nginx/html"
  volumes:
  - name: webcontent
    configMap:
      name: web2

volumes.configMap.name 引用 ConfigMap,mountPath 是挂载目录,ConfigMap 里的 index.html 和 error.html 会变成该目录下的两个文件。

bash 复制代码
root@master30:~# kubectl apply -f pod-with-volume-from-configmap.yaml
pod/web created

root@master30:~# kubectl exec web -- ls /usr/share/nginx/html
error.html
index.html

root@master30:~# curl http://10.224.193.69
Hello World
root@master30:~# curl http://10.224.193.69/error.html
error

引用特定 key 。用 items 只挂载指定的键,还能用 path 重命名文件:

yaml 复制代码
  volumes:
  - name: webcontent
    configMap:
      name: web2
      items:
        - key: index.html
          path: index.html

等价的另一种写法是 subPath,把单个文件挂到指定路径:

yaml 复制代码
    volumeMounts:
    - name: webcontent
      mountPath: "/usr/share/nginx/html/index.html"
      subPath: index.html

subPath 和直接挂载目录的区别:直接挂载目录时,目录下原有文件会被覆盖;subPath 只挂载指定文件,目录里其他文件保持原样。生产环境里往已有目录注入单个配置文件时用 subPath 更安全。

Volume 方式支持动态更新。ConfigMap 修改后,kubelet 在周期同步时更新挂载的文件内容,默认延迟几十秒到一分钟左右。环境变量方式没有这个能力。但要注意,同步到文件不等于应用会重读配置,很多应用只在启动时读一次,改完 ConfigMap 要不要重启 Pod 取决于应用的配置加载机制。

6.5 集群自身使用 ConfigMap 的例子

kube-proxy 的工作模式就是通过 ConfigMap 配的:

bash 复制代码
root@master30:~# kubectl get configmaps -n kube-system
NAME                                                   DATA   AGE
calico-config                                          4      37h
coredns                                                1      37h
extension-apiserver-authentication                     6      37h
kube-apiserver-legacy-service-account-token-tracking   1      37h
kube-proxy                                             2      37h
kube-root-ca.crt                                       1      37h
kubeadm-config                                         1      37h
kubelet-config                                         1      37h

查看 kube-proxy 的配置内容,config.conf 里 mode 字段决定用 iptables 还是 ipvs:

bash 复制代码
root@master30:~# kubectl get configmaps kube-proxy -n kube-system -o yaml
apiVersion: v1
data:
  config.conf: |-
    apiVersion: kubeproxy.config.k8s.io/v1alpha1
    bindAddress: 0.0.0.0
    bindAddressHardFail: false
......
  kubeconfig.conf: |-
    apiVersion: v1
    kind: Config
    clusters:
......

mode 为空时默认 iptables,日志里能看到:

bash 复制代码
root@master30:~# kubectl logs -n kube-system kube-proxy-8kp8w
I1019 02:26:00.975333       1 server_others.go:69] "Using iptables proxy"
I1019 02:26:01.037589       1 node.go:141] Successfully retrieved node IP: 10.1.8.31
......

改成 ipvs 模式:

bash 复制代码
root@master30:~# kubectl edit cm -n kube-system kube-proxy
......
    mode: "ipvs"
......

ConfigMap 更新后 kube-proxy 不会自动重读,要删掉 Pod 让 DaemonSet 重建:

bash 复制代码
root@master30:~# kubectl get pod -n kube-system | grep kube-proxy
kube-proxy-8kp8w                            1/1     Running   1          37d
kube-proxy-ghgxw                            1/1     Running   1          37d
kube-proxy-p6qnk                            1/1     Running   1          37d

root@master30:~# kubectl delete pod -n kube-system kube-proxy-{8kp8w,ghgxw,p6qnk}
pod "kube-proxy-8kp8w" deleted
pod "kube-proxy-ghgxw" deleted
pod "kube-proxy-p6qnk" deleted

重建后看日志,模式变了:

bash 复制代码
root@master30:~# kubectl logs -n kube-system kube-proxy-8swmx
I1019 03:41:12.288952       1 node.go:141] Successfully retrieved node IP: 10.1.8.31
I1019 03:41:12.325988       1 server.go:632] "kube-proxy running in dual-stack mode" primary ipFamily="IPv4"
I1019 03:41:12.364416       1 server_others.go:218] "Using ipvs Proxier"
......

这个例子说明 ConfigMap 的更新传播是有条件的:volume 挂载方式会周期性同步文件内容,但进程要不要重读配置取决于应用本身。kube-proxy 只在启动时读一次,所以必须重启。实验做完记得把模式改回 iptables,别把集群留在 ipvs 模式下。

6.6 综合案例:haproxy 反代两个 nginx

这个案例把 ConfigMap 的 volume 引用和 Pod 间通信串起来。需求是 haproxy 把流量轮询转发到 webapp-1 和 webapp-2 两个 nginx Pod,haproxy 的配置文件通过 ConfigMap 挂载。

创建 webapp-1 的 ConfigMap 和 Pod 。--from-literal 的值里含空格要加引号:

bash 复制代码
root@master30:~# mkdir web && cd web
root@master30:~/web# kubectl create cm webapp-1 --from-literal=index.html="hello webapp-1" --from-literal=error.html="sorry, error."
configmap/webapp-1 created

root@master30:~/web# vim pod-webapp-1.yaml
apiVersion: v1
kind: Pod
metadata:
  labels:
    run: webapp-1
  name: webapp-1
spec:
  containers:
  - name: nginx
    image: hub.laoma.cloud/library/nginx:latest
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - name: config
      mountPath: "/usr/share/nginx/html"
      readOnly: true
  volumes:
  - name: config
    configMap:
      name: webapp-1

root@master30:~/web# kubectl apply -f pod-webapp-1.yaml
pod/webapp-1 created

readOnly: true 表示容器内不能写这个目录,防止应用意外改坏配置。

创建 webapp-2,步骤相同,只改名字:

bash 复制代码
root@master30:~/web# kubectl create cm webapp-2 --from-literal=index.html="hello webapp-2" --from-literal=error.html="sorry, error."
configmap/webapp-2 created

root@master30:~/web# vim pod-webapp-2.yaml
apiVersion: v1
kind: Pod
metadata:
  labels:
    run: webapp-2
  name: webapp-2
spec:
  containers:
  - name: nginx
    image: hub.laoma.cloud/library/nginx:latest
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - name: config
      mountPath: "/usr/share/nginx/html"
      readOnly: true
  volumes:
  - name: config
    configMap:
      name: webapp-2

root@master30:~/web# kubectl apply -f pod-webapp-2.yaml
pod/webapp-2 created

获取两个 Pod 的 IP,写进 haproxy 配置:

bash 复制代码
root@master30:~/web# kubectl get pods -o wide
NAME       READY   STATUS    RESTARTS   AGE   IP              NODE                NOMINATED NODE   READINESS GATES
webapp-1   1/1     Running   0          63m   10.224.84.80    worker1.laoma.fun   <none>           <none>
webapp-2   1/1     Running   0          63m   10.224.149.25   worker2.laoma.fun   <none>           <none>

写 haproxy 配置并创建 ConfigMap 。--from-file=haproxy.cfg=./haproxy.cfg 把文件内容存到 key haproxy.cfg 下:

bash 复制代码
root@master30:~/web# vim haproxy.cfg
global
    daemon
    maxconn 256

defaults
    mode http
    timeout connect 5000ms
    timeout client 50000ms
    timeout server 50000ms

frontend http-in
    bind *:8080
    default_backend servers

backend servers
    server  app1 10.224.84.80:80 check
    server  app2 10.224.149.25:80 check

root@master30:~/web# kubectl create cm haproxy.cfg --from-file=haproxy.cfg=./haproxy.cfg
configmap/haproxy.cfg created

创建 haproxy Pod 。挂载路径是 /usr/local/etc/haproxy,haproxy 镜像默认从这个目录读 haproxy.cfg:

bash 复制代码
root@master30:~/web# vim pod-haproxy.yaml
---
apiVersion: v1
kind: Pod
metadata:
  name: haproxy
spec:
  containers:
  - name: haproxy
    image: hub.laoma.cloud/library/haproxy
    imagePullPolicy: IfNotPresent
    securityContext:
      allowPrivilegeEscalation: true
    volumeMounts:
    - name: config
      mountPath: "/usr/local/etc/haproxy"
      readOnly: true
  volumes:
  - name: config
    configMap:
      name: haproxy.cfg

root@master30:~/web# kubectl apply -f pod-haproxy.yaml
pod/haproxy created

securityContext.allowPrivilegeEscalation: true 允许容器内的进程提权。haproxy 绑定端口和设置 chroot 需要一定权限,实验环境放开这个限制,生产环境应按实际需求收紧。

验证轮询。连续 curl 两次,返回不同的 webapp 内容,说明负载均衡生效:

bash 复制代码
root@master30:~/web# kubectl get pods haproxy -o wide
NAME      READY   STATUS    RESTARTS   AGE   IP              NODE                  NOMINATED NODE   READINESS GATES
haproxy   1/1     Running   0          33s   10.224.149.35   worker32.laoma.cloud   <none>           <none>

root@master30:~# curl http://10.224.149.35:8080
hello webapp-1
root@master30:~# curl http://10.224.149.35:8080
hello webapp-2

这个案例里 haproxy 直接写死了两个 Pod IP,Pod 重建 IP 变化就失效。生产环境不会这么配,应该用 Service 做服务发现。但作为 ConfigMap 挂载配置文件的演示,它把"配置文件从 ConfigMap 来、配置里的内容决定应用行为"这条链路走通了。


七、Secret

7.1 与 ConfigMap 的区别

Secret 专门存敏感数据,密码、token、证书私钥。结构和 ConfigMap 几乎一样,都有 data 和 binaryData,但有两个关键差异:

  1. Secret 的 data 字段值必须是 base64 编码 。这不是加密,只是编码,base64 -d 就能解出来。它的意义是避免敏感数据在 YAML 里以明文形式出现,同时支持二进制内容。真正的加密要靠 etcd 加密或外部密钥管理。
  2. Secret 有类型区分 。Opaque 是通用类型,还有 kubernetes.io/dockerconfigjson、kubernetes.io/tls 等专用类型,kubelet 和控制器会根据类型做不同处理。

7.2 创建 generic 类型 Secret

从字面量创建:

bash 复制代码
root@master30:~# kubectl create secret generic mysecret1 --from-literal=user=tom --from-literal=password1=redhat --from-literal=password2=redhat
secret/mysecret1 created

root@master30:~# kubectl get secrets
NAME        TYPE     DATA   AGE
mysecret1   Opaque   3      21s

root@master30:~# kubectl get secrets mysecret1 -o yaml
apiVersion: v1
data:
  password1: cmVkaGF0
  password2: cmVkaGF0
  user: dG9t
kind: Secret
metadata:
......
type: Opaque

验证 base64 编码关系:

bash 复制代码
root@master30:~# echo -n tom | base64
dG9t
root@master30:~# echo -n redhat | base64
cmVkaGF0
root@master30:~# echo -n cmVkaGF0 | base64 -d
redhat

注意 echo -n 的 -n 表示不输出末尾换行符。不加 -n 的话,编码结果会多一个换行符的编码,和 Secret 里的值对不上。

kubectl get secrets mysecret1 -o jsonpath={.data} 可以只取 data 部分,配合 json_reformat(yajl-tools 包提供)做格式化输出:

bash 复制代码
root@master30:~# kubectl get secrets mysecret1 -o jsonpath={.data} | json_reformat
{
    "password1": "cmVkaGF0",
    "password2": "cmVkaGF0",
    "user": "amFjaw=="
}

kubectl describe secrets 显示每个键的字节数而不显示值,适合快速确认 Secret 内容是否完整:

bash 复制代码
root@master30:~# kubectl describe secrets mysecret1
Name:         mysecret1
Namespace:    laoma
Labels:       <none>
Annotations:  <none>

Type:  Opaque

Data
====
password1:  6 bytes
password2:  6 bytes
user:       3 bytes

从文件创建。文件名作 key,内容作 value:

bash 复制代码
root@master30:~# echo -n tom > user
root@master30:~# echo -n redhat > password1
root@master30:~# echo -n redhat > password2
root@master30:~# kubectl create secret generic mysecret2 --from-file=./user --from-file=./password1 --from-file=./password2
secret/mysecret2 created

自定义 key 名,--from-file=username=./user 把 user 文件的内容存到 username 键下:

bash 复制代码
root@master30:~# kubectl create secret generic mysecret3 --from-file=username=./user --from-file=./password1 --from-file=./password2
secret/mysecret3 created

从 env 文件创建 。文件里每行 KEY=VALUE 变成一个键值对:

bash 复制代码
root@master30:~# echo 'user=tom
password1=redhat
password2=redhat' > env.txt

root@master30:~# kubectl create secret generic mysecret4 --from-env-file=./env.txt
secret/mysecret4 created

从目录创建。文件名作 key,内容作 value:

bash 复制代码
root@master30:~# kubectl create secret generic mysecret5 --from-file=./config
secret/mysecret5 created

从 YAML 创建。data 字段直接写 base64 值:

yaml 复制代码
apiVersion: v1
kind: Secret
metadata:
  name: mysecret6
type: Opaque
data:
  user: dG9t
  password1: cmVkaGF0
  password2: cmVkaGF0

7.3 docker-registry 类型

保存镜像仓库登录凭据,Pod 拉私有镜像时通过 imagePullSecrets 引用。回顾 docker login 的行为:登录信息默认保存在 ~/.dockercfg,后续 docker pull 和 push 使用该凭据文件访问 registry。kubectl 的 docker-registry Secret 就是把这个凭据文件搬到 Kubernetes 里。

bash 复制代码
root@master30:~# kubectl create secret docker-registry registry --docker-username=laoma --docker-password=redhat --docker-email=admin@laoma.cloud --docker-server=registry.laoma.cloud
secret/registry created

四个选项分别对应 docker login 的用户名、密码、邮箱、仓库地址。生成的 Secret 类型是 kubernetes.io/dockerconfigjson:

bash 复制代码
root@master30:~# kubectl get secrets docker-registry-secret -o yaml
apiVersion: v1
data:
  .dockerconfigjson: eyJhdXRocyI6eyJyZWdpc3RyeS5yZWRoYXQuZnVuIjp7InVzZXJuYW1lIjoibGFvbWEiLCJwYXNzd29yZCI6InJlZGhhdCIsImVtYWlsIjoibGFvbWFAcmVkaGF0LmZ1biIsImF1dGgiOiJiR0Z2YldFNmNtVmthR0YwIn19fQ==
kind: Secret
metadata:
......
type: kubernetes.io/dockerconfigjson

data 里只有一个 .dockerconfigjson 键,值是整个 Docker 配置的 base64。Pod 里这样引用:

yaml 复制代码
spec:
  imagePullSecrets:
  - name: registry

生产环境拉私有镜像基本都要配这个,否则 Pod 会卡在 ImagePullBackOff。

7.4 TLS 类型

保存证书和私钥,用于 Ingress 等需要 TLS 的场景。先生成自签证书:

bash 复制代码
root@master30:~# mkdir certs && cd certs
root@master30:~/certs# openssl genrsa -out www.key 2048
root@master30:~/certs# openssl req -new -key www.key -out www.csr -subj "/C=CN/ST=JS/L=NJ/O=LM/OU=DEVOPS/CN=www.laoma.cloud/emailAddress=admin@laoma.cloud"
root@master30:~/certs# openssl x509 -req -days 3650 -in www.csr -signkey www.key -out www.crt

三条命令的作用:

  • openssl genrsa -out www.key 2048 生成 2048 位 RSA 私钥。
  • openssl req -new -key www.key -out www.csr -subj "..." 生成证书签名请求,-subj 直接指定主题信息避免交互式输入,CN 必须是域名,这是 TLS 证书校验的关键字段。
  • openssl x509 -req -days 3650 -in www.csr -signkey www.key -out www.crt 用私钥自签证书,-days 3650 有效期十年。自签证书浏览器会报不受信任,生产环境要用 CA 签发的证书。

创建 TLS 类型 Secret:

bash 复制代码
root@master30:~/certs# kubectl create secret tls www-tls --cert=./www.crt --key=./www.key
secret/www-tls created

--cert 和 --key 分别指定证书和私钥文件,生成的 Secret 类型是 kubernetes.io/tls,包含 tls.crt 和 tls.key 两个键。

7.5 环境变量方式引用 Secret

bash 复制代码
root@master30:~# vim pod-with-env-from-secret.yaml
---
apiVersion: v1
kind: Pod
metadata:
  name: mysql
  labels:
    name: mysql
spec:
  containers:
  - image: hub.laoma.cloud/library/mysql:latest
    imagePullPolicy: IfNotPresent
    name: mysql
    ports:
    - containerPort: 3306
      name: mysql
    env:
    - name: MYSQL_ROOT_PASSWORD
      valueFrom:
        secretKeyRef:
          name: mysecret1
          key: password1

secretKeyRef 的用法和 configMapKeyRef 完全对称,只是数据来源换成了 Secret。

bash 复制代码
root@master30:~# kubectl apply -f pod-with-env-from-secret.yaml
pod/mysql created

root@master30:~# kubectl exec -it mysql -- bash -c 'echo $MYSQL_ROOT_PASSWORD'
redhat

root@master30:~# mysql -u root -predhat -h 10.224.51.131 --ssl-mode=DISABLED

--ssl-mode=DISABLED 是因为实验环境的 MySQL 没配 SSL,不加这个选项 mysql 客户端可能因 TLS 握手失败连不上。生产环境应该启用 SSL,这个参数不要照搬。

7.6 Volume 方式引用 Secret

引用整体:

bash 复制代码
root@master30:~# echo Hello world > index.html
root@master30:~# echo error > error.html
root@master30:~# kubectl create secret generic web --from-file=./index.html --from-file=./error.html
secret/web created
yaml 复制代码
apiVersion: v1
kind: Pod
metadata:
  labels:
    run: web
  name: web
spec:
  containers:
  - image: hub.laoma.cloud/library/nginx:latest
    imagePullPolicy: IfNotPresent
    name: web
    volumeMounts:
    - name: webcontent
      mountPath: "/usr/share/nginx/html"
  volumes:
  - name: webcontent
    secret:
      secretName: web

volumes.secret.secretName 引用 Secret,键值对变成挂载目录下的文件:

bash 复制代码
root@master30:~# kubectl apply -f pod-with-volume-from-secret.yaml
pod/web created
root@master30:~# curl 10.224.51.136
Hello World
root@master30:~# curl 10.224.51.136/error.html
error

引用特定 key 。用 items 只挂载指定键:

yaml 复制代码
  volumes:
  - name: webcontent
    secret:
      secretName: web
      items:
      - key: index.html
        path: index.html

或者用 subPath 挂单个文件:

yaml 复制代码
    volumeMounts:
    - name: webcontent
      mountPath: "/usr/share/nginx/html/index.html"
      subPath: index.html

验证时注意,subPath 方式挂载后,目录里只有 index.html,error.html 不会被挂进去:

bash 复制代码
root@master30:~# kubectl exec web -- ls /usr/share/nginx/html
index.html

Secret 的 volume 挂载同样支持动态更新。改 Secret 内容后等几十秒,容器内文件会更新:

bash 复制代码
root@master30:~# echo 'Hello Nginx' | base64
SGVsbG8gbmdpbng=

root@master30:~# kubectl edit secrets web
......
data:
  index: SGVsbG8gbmdpbng=
......

root@master30:~# curl 10.224.51.137/index.html
Hello Nginx

7.7 文件权限

Secret 和 ConfigMap 挂载的文件默认权限是 644(八进制),即 420(十进制)。用 defaultMode 设整个卷的权限,用 items[].mode 设单个文件的权限。这两个字段的数值是十进制,因为 JSON 不支持八进制字面量,要自己换算。

yaml 复制代码
  volumes:
  - name: foo
    secret:
      secretName: mysecret1
      defaultMode: 256

256 十进制 = 400 八进制,即 r--------:

bash 复制代码
root@master30:~# kubectl exec mypod1 -- ls -l /etc/foo/..data/user
-r--------     1 root     root             4 Aug  9 08:58 /etc/foo/..data/user

单文件权限:

yaml 复制代码
      items:
      - key: user
        path: user
        mode: 511

511 十进制 = 777 八进制,即 rwxrwxrwx:

bash 复制代码
root@master30:~# kubectl exec mypod1 -- ls -l /etc/foo/..data/user
-rwxrwxrwx     1 root     root             4 Aug  9 08:58 /etc/foo/..data/user

生产环境里证书私钥通常设成 400 或 600,避免容器内其他进程读取。设成 777 只适合实验演示,别照搬到线上。


八、综合实验:Secret 存储密码与证书部署 WordPress

课程最后的综合实验要求用 mysql 和 nginx 镜像部署 WordPress,MySQL 密码和站点证书用 Secret 存储,通过 HTTPS 访问。这个实验把 Secret 的两种类型(generic 和 tls)和 volume 挂载串起来,思路如下:

  1. 创建 generic Secret 存 MySQL root 密码。
  2. 创建 TLS Secret 存证书私钥。
  3. 部署 MySQL Pod,用 secretKeyRef 注入密码。
  4. 部署 nginx Pod,用 volume 挂载 TLS Secret 到证书目录,挂载 WordPress 文件到站点目录。
  5. 配置 nginx 的 HTTPS 配置,通过 ConfigMap 注入。

这个实验的完整清单篇幅较长,这里不逐个展开,关键是理解 Secret 在不同场景下的引用方式:密码类用环境变量注入,证书类用 volume 挂载到文件路径。HTTPS 配置里 nginx 需要读证书文件和私钥文件,所以必须是 volume 方式,环境变量方式没法给应用提供文件路径。

环境清理:

bash 复制代码
root@master30:~# kubectl delete ns configure

九、几点工程上的提醒

emptyDir 和 hostPath 都不是持久化方案。emptyDir 随 Pod 删除消失,hostPath 绑死节点。真正要持久化用 PV/PVC 或者更上层的 StorageClass 动态制备。文档里提到 hostPath 只适合单节点测试,多节点集群应该用 local 卷或网络存储替代。

NFS 的 Delete 回收策略是无效的 。实验里看到了 no deletable volume plugin matched 的报错。选回收策略前先确认存储插件支持哪些,云盘和 CSI 驱动支持 Delete,NFS 只支持 Retain(Recycle 已废弃)。

accessModes 匹配是集合包含,不是优先级比较。PVC 申请的每个模式都要在 PV 的 accessModes 里出现,别按 RWO < RWX 这种顺序去理解。选存储类型时先确认它支持哪些模式,NFS 三种都支持,hostPath 只有 RWO。

ConfigMap 和 Secret 的更新传播分两种。volume 挂载会周期性同步文件内容,环境变量注入不会变。而且同步到文件不等于应用会重读配置,很多应用只在启动时读一次。改完配置要不要重启 Pod,取决于应用的配置加载机制,不能一概而论。kube-proxy 那个例子就是典型,ConfigMap 改了必须重启 Pod 才生效。

Secret 的 base64 不是加密 。kubectl get secret -o yaml 拿到 data 后 base64 -d 就能还原明文。Secret 的安全依赖 RBAC 控制谁能读、etcd 静态加密、以及不把 Secret 提交到代码仓库。生产环境别把 Secret 的 YAML 直接 commit 到 Git,用 SealedSecret、External Secrets 这类方案。

环境变量注入 Secret 有泄露风险 。容器内 env 命令能看到所有环境变量,如果应用有命令注入漏洞或者把环境变量打到日志里,密码就泄露了。敏感配置优先用 volume 挂载,文件权限收紧,比环境变量可控。

ConfigMap 大小上限 1MiB。它不是用来存大文件的,需要存大配置或二进制资源时用 PVC 挂载存储卷。把几 MB 的配置文件塞 ConfigMap 会导致 etcd 压力大、kubelet 同步慢。

PyCharm 的 Kubernetes 插件只是辅助 。自动补全和 schema 校验能减少低级错误,但字段语义、匹配规则这些还是要靠对 API 的理解。YAML 写完后用 kubectl apply --dry-run=server 做一次服务端校验,比编辑器提示可靠。

证书有效期和轮换。TLS Secret 里的证书有有效期,实验里自签十年图省事,生产环境证书一般一年或更短,要有轮换机制。证书过期后 Ingress 会报证书错误,访问直接失败,这个在监控里要单独设告警。


小结

这篇笔记从 emptyDir 的临时共享,到 hostPath 的节点目录挂载,再到 NFS 的跨节点共享,最后到 PV/PVC 的存储抽象,把 Kubernetes 里数据持久化的几条路径走了一遍。emptyDir 解决同 Pod 内容器共享临时数据,hostPath 适合节点级资源访问,NFS 和 PV/PVC 才是生产环境持久化存储的正路。PV/PVC 的价值在于把"存储怎么配"和"应用要什么"分开,管理员管 PV,开发管 PVC,绑定由控制平面完成。accessModes 的集合包含匹配规则和回收策略的行为,是排查 PVC 一直 Pending、PV 删不掉这类问题的关键知识点。

ConfigMap 和 Secret 解决配置注入问题,前者存普通配置,后者存敏感数据。两者都支持环境变量和 volume 两种引用方式,区别在于 volume 方式支持动态更新、文件权限可控,环境变量方式简单但更新不生效、有泄露风险。综合案例里 haproxy 的配置通过 ConfigMap 挂载,演示了配置与镜像解耦的实际用法;kube-proxy 的例子则说明了配置改了不等于生效,应用的配置加载机制决定要不要重启。

下一篇进入工作负载控制器,Deployment、StatefulSet、DaemonSet 这些才是生产环境管理 Pod 的正确方式。裸 Pod 没有自愈、没有滚动更新、没有副本管理,只适合实验和调试。Volume 部分今天只覆盖了静态 PV,StorageClass 动态制备是生产环境更常用的方式,后续会展开。

相关推荐
一只大鸽子16 分钟前
游戏开发笔记7-Godot RPG游戏基础-场景切换、全局脚本
笔记·游戏·godot
你住过的屋檐2 小时前
【SeaweedFS】Linux上搭建SeaweedFS文件存储服务完整教程
linux·运维·服务器
Decay__2 小时前
PostgreSQL 体系架构全解 —— 进程模型、共享内存、MVCC 与 WAL 预写日志深入
运维·数据库·sql·mysql·架构
分布式存储与RustFS2 小时前
桶里的文件想当目录使:用 ZeroFS 把 RustFS 挂成一棵 POSIX 树
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
老余说AI3 小时前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
分布式存储与RustFS4 小时前
向量表别堆本地盘:用 LanceDB 把数据集建在 RustFS 上
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
console.log('npc')4 小时前
Python 学习教程 · 第4课:数据结构
数据结构·python·学习
吃我一窝jio4 小时前
Docker+Jenkins+K8s全流程部署
java·开发语言·笔记·python