K8S升级到1.24后,切换运行时导致 dind 构建镜像慢根因定位与解决

背景:

在aws部署没问题,dind 部署在腾讯云上,升级到1.24后,jenkins 构建速度特别慢,发现原来只占用10g的磁盘,升级后发现占用超过十倍的存储空间(取决于dockerfile中的层数)。

根因:

aws 中运行的dind 使用的 "storage-driver": "overlay2" ,腾讯云中运行的dind 使用的 "storage-driver": "vfs"

进入容器,执行命令 docker info 可以看到

Storage Driver: vfs (腾讯云)

以下是 vfs 和 overlay2 存储驱动的主要区别:

vfs (Virtual File System)

vfs 是一种非常简单的存储驱动,它将每个容器的文件系统作为一个独立的目录存储在主机文件系统中。

每个容器的文件系统都是一个完整的复制,而不是共享底层文件系统。

overlay2

overlay2 是一种更高级的存储驱动,基于 Linux 内核的 overlay 文件系统。

它使用分层机制,允许多个容器共享相同的镜像层,从而节省磁盘空间和提高启动速度。

看完差异就定位到原因了。

示例yaml

复制代码
apiVersion: v1
kind: Pod
metadata:
  name: clean-ci
spec:
  containers:
  - name: dind
    image: 'docker:stable-dind'
    command:
    - dockerd
    - --host=unix:///var/run/docker.sock
    - --host=tcp://0.0.0.0:2376
    securityContext:
      privileged: true
    volumeMounts:
    - mountPath: /var/run
      name: cache-dir
    - mountPath: /var/lib # 挂载目录,使用主机的存储驱动,否则使用默认vfs驱动 或 /var/lib/docker
      name: host-lib
  - name: clean-ci
    image: 'docker:stable'
    command: ["/bin/sh"]
    args: ["-c", "docker info >/dev/null 2>&1; while [ $? -ne 0 ] ; do sleep 3; docker info >/dev/null 2>&1; done; docker pull library/busybox:latest; docker save -o busybox-latest.tar library/busybox:latest; docker rmi library/busybox:latest; while true; do sleep 86400; done"]
    volumeMounts:
    - mountPath: /var/run
      name: cache-dir
    - mountPath: /var/lib # 挂载目录,使用主机的存储驱动,否则使用默认vfs驱动  或 /var/lib/docker
      name: host-lib
  volumes:
  - name: cache-dir
    emptyDir: {}
  - name: host-lib
    hostPath:
      path: /data/lib
      type: ''
相关推荐
Gss7773 分钟前
Docker 容器核心知识总结
docker·容器
罗技1233 分钟前
Docker 启动 Easysearch 时自定义初始密码的几种方式
运维·docker·容器
码路工人2 小时前
附录B:kubectl 命令速查表 - Kubernetes 集群管理必备指南
docker·云原生·容器
码路工人2 小时前
附录A:常用 Docker 命令速查表
docker·云原生·容器
love530love2 小时前
【笔记】 Podman Desktop 中部署 Stable Diffusion WebUI (GPU 支持)
人工智能·windows·笔记·python·容器·stable diffusion·podman
致宏Rex12 小时前
Docker 实战教程(7) | 镜像管理和仓库操作
运维·docker·容器
罗技12312 小时前
不用每次都改 `easysearch.yml` 也能改启动参数 —— 用 Docker 环境变量搞定一切
docker·容器·eureka
你好龙卷风!!!13 小时前
SpringCloud,vue3应用使用AlibabaCloudToolkit自动化部署到远程服务器上的docker
云原生·自动化
落日漫游14 小时前
Kubernetes容器运行时:cri-docker vs containerd
docker·kubernetes
FIN666814 小时前
募投绘蓝图-昂瑞微的成长密码与未来布局
前端·后端·5g·云原生·信息与通信·射频工程·芯片