踩坑：Linux 上修改系统盘 xfs ftype=0 以支持 overlay 的方法

工画师2024-01-09 17:04

背景

在我们的生产环境开通的虚拟主机上尝试安装 kubelet 的时候，发现报了这么一个错误：

[ERROR CRI]: container runtime is not running: output: time="2024-01-09T10:28:09+08:00" level=fatal msg="validate service connection: CRI v1 runtime API is not implemented for endpoint "[unix:///var/run/containerd/containerd.sock]()": rpc error: code = Unimplemented desc = unknown service runtime.v1.RuntimeService"

现象就是 containerd 是好的，但是放到 crictl 去访问的时候就会报 CRI v1 runtime API is not implemented for endpoint 这个错误。

关于这个错误上网找的其他办法主要指向这个：serverfault.com/a/1126729/3...

简单来说就是 /etc/containerd/config.toml 这个文件里面需要关闭 disabled_plugins = ["cri"] 这个配置。但在我的场景下这个配置原本就没有。

然后一番排查，最后通过 systemctl status containerd -l 找到了问题的根源：

failed to create CRI service: failed to find snapshotter "overlayfs"

原本的系统盘 / 下面挂载的是 xfs，查了 xfs 对 overlayfs 的支持需要在格式化的时候指定 ftype=1，而这个没有，验证方法：

bash 复制代码 
xfs_info /

输出是这样的：

bash 复制代码 
meta-data=/dev/mapper/VG01-lv_root isize=256    agcount=4, agsize=2736896 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=0        finobt=0 spinodes=0
data     =                       bsize=4096   blocks=10947584, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=0
log      =internal               bsize=4096   blocks=5345, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

可以看到 ftype=0，说明文件系统不支持。

为了解决这个问题，至少需要保证 /var/lib/containerd 这个目录下的文件系统支持 overlayfs，其实之前用 docker 的时候也遇到过同样的问题，对应的目录是 /var/lib/docker。

我们可以创建一个新的数据盘，将其格式化为 ext4 或者 xfs(ftype=1) 的方式，然后单独挂载到 /var/lib/containerd 上面，这样可以解决问题。

但是这样操作我们需要浪费一块额外的数据盘而且多出来一些很冗余的配置，不是一个特别完美的解决方案。

解决方案

更好的方案显然是直接把系统盘的文件系统改掉，但是显然这需要格式化。

原始的系统磁盘布局是这样的：

bash 复制代码 
# lsblk
NAME              MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda                 8:0    0   50G  0 disk 
├─sda1              8:1    0  200M  0 part /boot
└─sda2              8:2    0 49.8G  0 part 
  ├─VG01-lv_root  253:0    0 41.8G  0 lvm  /
  └─VG01-lv_swap  253:1    0    8G  0 lvm  [SWAP]
sdb                 8:16   0    1G  0 disk 
└─data01vg-appslv 253:2    0  896M  0 lvm  /apps
sr0                11:0    1 1024M  0 rom  

# df -h
文件系统                     容量  已用  可用 已用% 挂载点
devtmpfs                     1.9G     0  1.9G    0% /dev
tmpfs                        1.9G     0  1.9G    0% /dev/shm
tmpfs                        1.9G   36M  1.9G    2% /run
tmpfs                        1.9G     0  1.9G    0% /sys/fs/cgroup
/dev/mapper/VG01-lv_root      42G  5.0G   37G   12% /
tmpfs                        378M     0  378M    0% /run/user/0
/dev/sda1                    197M  112M   86M   57% /boot
/dev/mapper/data01vg-appslv  866M   30M  776M    4% /apps
tmpfs                         60M     0   60M    0% /var/log/rtlog
tmpfs                        378M     0  378M    0% /run/user/1002
tmpfs                        378M     0  378M    0% /run/user/1000

我们申请的资源就是这样，50GB 的系统盘分了两块，其中 VG01-lv_root 有 41.8G 的空间，另外还有 8G 的空间用作 swap 目录。但是实际根目录 / 下面只有 5G 的数据。

受这个帖子的启发，superuser.com/q/1321926/5...，我决定尝试在现有的环境下做一次给系统盘做一个换头手术，将系统盘的文件系统化格式化掉，但是保留原本的所有信息再重新拉起。

注意到，swap 分区其实是多余的，我们装 kubernetes 的时候本来就要关 swap，我们是不是能够用 swap 分区的 8G 空间用来腾挪，从而把根目录的挂载盘格掉呢？这就是我的乾坤大挪移方案：

  1. 关闭 swap，然后将 swap 格式化成 xfs(ftype=1)，挂载到 /mnt 上；
  2. 将根目录 / (VG01-lv_root) 的数据通过 rsync 全部复制到 /mnt (VG01-lv_swap)；
  3. 修改启动条件，将 / 和 /mnt 的挂载盘 (VG01-lv_root 和 VG01-lv_swap) 互换，重启；
  4. 将 /mnt 挂载了 VG-lv_root 格式化成 xfs(ftype=1)；
  5. 将根目录 / (VG01-lv_swap) 的数据通过 rsync 全部复制到 /mnt (VG01-lv_root)；
  6. 修改启动条件，换回最初的版本，重启，大功告成。

我居然把上面这个试通了，下面是实际操作细节：

1. 关闭 swap，格式化并挂载到 /mnt 上

临时关闭 swap (后面再改 /etc/fstab)

bash 复制代码 
swapoff -a

格式化成 xfs(ftype=1)

bash 复制代码 
mkfs.xfs -f -n ftype=1 /dev/mapper/VG01-lv_swap

输出：

ini 复制代码 
meta-data=/dev/mapper/VG01-lv_swap isize=512    agcount=4, agsize=524288 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0, sparse=0
data     =                       bsize=4096   blocks=2097152, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal log           bsize=4096   blocks=2560, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

将 VG01-lv_swap 临时挂载到 /mnt：

bash 复制代码 
mount /dev/mapper/VG01-lv_swap /mnt

2. 将根目录的数据 rsync 到 /mnt 上

注意要加几个特殊的参数，同时忽略 /mnt 目录本身，/boot 目录，以及数据盘挂载的目录 /apps。

bash 复制代码 
rsync -avxHAX --delete --devices --specials --exclude /mnt --exclude /apps --exclude /boot / /mnt/

然后 ls -la /mnt 看一下数据是不是都过去了。

3. 修改启动条件

修改 /mnt/etc/fstab (注意旧的位置 /etc/fstab 已经不 care 了)，原版长这样：

bash 复制代码 
#
# /etc/fstab
# Created by anaconda on Wed Feb 15 08:41:10 2017
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/VG01-lv_root /                       xfs     defaults        0 0
UUID=faa7906a-6ff7-4d7b-bf5e-5ecc4ac54fb3 /boot                   xfs     defaults        0 0
/dev/mapper/VG01-lv_swap swap                    swap    defaults        0 0
/dev/mapper/data01vg-appslv /apps ext4 defaults 0 0

将 VG01-lv_root 改成 VG01-lv_swap，同时注释掉 swap 那行，改完之后变成这样：

bash 复制代码 
#
# /etc/fstab
# Created by anaconda on Wed Feb 15 08:41:10 2017
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/VG01-lv_swap /                       xfs     defaults        0 0
UUID=faa7906a-6ff7-4d7b-bf5e-5ecc4ac54fb3 /boot                   xfs     defaults        0 0
#/dev/mapper/VG01-lv_swap swap                    swap    defaults        0 0
/dev/mapper/data01vg-appslv /apps ext4 defaults 0 0

然后，启动点的配置也要修改，修改 /boot/grub2/grub.cfg（记得先备份原版），找到下面这个位置，将所有 VG01-lv_root 和 VG01-lv_swap 对调：

涉及的原版片段是这样的，共需修改六处：

scss 复制代码 
### BEGIN /etc/grub.d/10_linux ###
menuentry 'CentOS Linux (3.10.0-1160.92.1.el7.x86_64) 7 (Core)' --class centos --class gnu-linux --class gnu --class os --unrestricted $menuentry_id_option 'gnulinux-3.10.0-327.el7.x86_64-advanced-6e2cc491-a603-4ec9-9677-65d425c720e2' {
        load_video
        set gfxpayload=keep
        insmod gzio
        insmod part_msdos
        insmod xfs
        set root='hd0,msdos1'
        if [ x$feature_platform_search_hint = xy ]; then
          search --no-floppy --fs-uuid --set=root --hint-bios=hd0,msdos1 --hint-efi=hd0,msdos1 --hint-baremetal=ahci0,msdos1 --hint='hd0,msdos1'  faa7906a-6ff7-4d7b-bf5e-5ecc4ac54fb3
        else
          search --no-floppy --fs-uuid --set=root faa7906a-6ff7-4d7b-bf5e-5ecc4ac54fb3
        fi
        linux16 /vmlinuz-3.10.0-1160.92.1.el7.x86_64 root=/dev/mapper/VG01-lv_root ro crashkernel=auto rd.lvm.lv=VG01/lv_root rd.lvm.lv=VG01/lv_swap rhgb biosdevname=0 net.ifnames=0  quiet LANG=en_US.UTF-8
        initrd16 /initramfs-3.10.0-1160.92.1.el7.x86_64.img
}
menuentry 'CentOS Linux (0-rescue-5f1865c966684867b0a1a7aec6828fb7) 7 (Core)' --class centos --class gnu-linux --class gnu --class os --unrestricted $menuentry_id_option 'gnulinux-0-rescue-5f1865c966684867b0a1a7aec6828fb7-advanced-6e2cc491-a60
3-4ec9-9677-65d425c720e2' {
        load_video
        insmod gzio
        insmod part_msdos
        insmod xfs
        set root='hd0,msdos1'
        if [ x$feature_platform_search_hint = xy ]; then
          search --no-floppy --fs-uuid --set=root --hint-bios=hd0,msdos1 --hint-efi=hd0,msdos1 --hint-baremetal=ahci0,msdos1 --hint='hd0,msdos1'  faa7906a-6ff7-4d7b-bf5e-5ecc4ac54fb3
        else
          search --no-floppy --fs-uuid --set=root faa7906a-6ff7-4d7b-bf5e-5ecc4ac54fb3
        fi
        linux16 /vmlinuz-0-rescue-5f1865c966684867b0a1a7aec6828fb7 root=/dev/mapper/VG01-lv_root ro crashkernel=auto rd.lvm.lv=VG01/lv_root rd.lvm.lv=VG01/lv_swap rhgb biosdevname=0 net.ifnames=0  quiet
        initrd16 /initramfs-0-rescue-5f1865c966684867b0a1a7aec6828fb7.img
}

搞定之后，reboot 重启（注意这个地方千万别搞错，否则启动不了就直接原地暴毙了）。

4. 重启后格式化 VG01-lv_root

如果能够正常重启，最难的这一关就已经渡过，先 lsblk 确认下挂载情况:

bash 复制代码 
# lsblk
NAME              MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda                 8:0    0   50G  0 disk 
├─sda1              8:1    0  200M  0 part 
└─sda2              8:2    0 49.8G  0 part 
  ├─VG01-lv_swap  253:0    0    8G  0 lvm  /
  └─VG01-lv_root  253:1    0 41.8G  0 lvm  
sdb                 8:16   0    1G  0 disk 
└─data01vg-appslv 253:2    0  896M  0 lvm  /apps
sr0                11:0    1 1024M  0 rom

可以看到根目录已经挂载到只有 8G 的 VG01-lv_swap 上了，现在 VG01-lv_root 已经腾挪出来了。

然后格式化：

bash 复制代码 
mkfs.xfs -f -n ftype=1 /dev/mapper/VG01-lv_root

临时挂载到 /mnt：

bash 复制代码 
mkdir -p /mnt  # 如果原来没有这个目录就创建一下
mount /dev/mapper/VG01-lv_root /mnt

5. 再挪一次系统盘数据

bash 复制代码 
rsync -avxHAX --delete --devices --specials --exclude /mnt --exclude /apps --exclude /boot / /mnt/

挪完看一下是不是数据都在了，进入下一步。

6. 把启动条件改回去

修改 /mnt/etc/fstab，把根目录的挂载设备从 lv_swap 改回 lv_root

bash 复制代码 
#
# /etc/fstab
# Created by anaconda on Wed Feb 15 08:41:10 2017
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/VG01-lv_root /                       xfs     defaults        0 0
UUID=faa7906a-6ff7-4d7b-bf5e-5ecc4ac54fb3 /boot                   xfs     defaults        0 0
#/dev/mapper/VG01-lv_swap swap                    swap    defaults        0 0
/dev/mapper/data01vg-appslv /apps ext4 defaults 0 0

修改启动配置，修改 /boot/grub2/grub.cfg，直接把原来备份那个挪回去就好。

中间出了点小插曲，发现 /boot 里面东西不见了，对照一下其他没改过的主机，是挂在在 /dev/sda1 上面的，因此临时挂载一下就 OK (mount /dev/sda1 /boot)，不影响。

重启，大功告成。

结果验证

搞完之后，看一下挂载情况：

bash 复制代码 
# lsblk
NAME              MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda                 8:0    0   50G  0 disk 
├─sda1              8:1    0  200M  0 part /boot
└─sda2              8:2    0 49.8G  0 part 
  ├─VG01-lv_root  253:0    0 41.8G  0 lvm  /
  └─VG01-lv_swap  253:1    0    8G  0 lvm  
sdb                 8:16   0    1G  0 disk 
└─data01vg-appslv 253:2    0  896M  0 lvm  /apps
sr0                11:0    1 1024M  0 rom

众神归位，好，再看一下磁盘格式：

ini 复制代码 
# xfs_info /
meta-data=/dev/mapper/VG01-lv_root isize=512    agcount=4, agsize=2736896 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0 spinodes=0
data     =                       bsize=4096   blocks=10947584, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal               bsize=4096   blocks=5345, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

看到 ftype=1 了，说明系统盘格式已经转换成功。

再看看 CRI 接口的支持（如果还是不支持 overlay 的话就会报开始那个错误）：

arduino 复制代码 
# crictl images
IMAGE               TAG                 IMAGE ID            SIZE

没有报错就是已经好了。

不确定通过 rsync 同步数据的方式是否会造成某些问题，但是目前来看一切正常，如果大家参考这个实践的话可能实际的硬盘挂载情况会有很大的不同，这里主要参考思路，切勿照搬，操作风险也比较大，请谨慎操作。

相关推荐
watl012 分钟前
【Android】unzip aar删除冲突classes再zip
android·linux·运维
团儿.28 分钟前
Docker服务发现新纪元：探索Consul的无限魅力
运维·docker·云计算·服务发现·consul
赵大仁1 小时前
在 CentOS 7 上安装 Node.js 20 并升级 GCC、make 和 glibc
linux·运维·服务器·ide·ubuntu·centos·计算机基础
vvw&1 小时前
Docker Build 命令详解：在 Ubuntu 上构建 Docker 镜像教程
linux·运维·服务器·ubuntu·docker·容器·开源
李白你好1 小时前
家用无线路由器的 2.4GHz 和 5GHz
运维·网络
苹果醋31 小时前
React系列（八）——React进阶知识点拓展
运维·vue.js·spring boot·nginx·课程设计
冷冰鱼1 小时前
【问题实录】服务器ping不通win11笔记本
运维·服务器
wayuncn1 小时前
web服务器之云主机、物理机租用、服务器托管的区别
运维·服务器
冷曦_sole1 小时前
linux-21 目录管理(一）mkdir命令，创建空目录
linux·运维·服务器
最后一个bug1 小时前
STM32MP1linux根文件系统目录作用
linux·c语言·arm开发·单片机·嵌入式硬件
热门推荐
0119个Web前端交互式3D JavaScript框架和库02ARM学习（31）编译器对overlay方式的支持03玄机平台应急响应—webshell查杀04RAG 实践- Ollama+RagFlow 部署本地知识库05【一文读懂】NTN（非地面网络）技术介绍06(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明07Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO08组基轨迹建模 GBTM的介绍与实现（Stata 或 R）09Docker 夺命连环 15 问10大模型国产化适配7-华为昇腾LLM落地可选解决方案（MindFormers、ModelLink、MindIE）