踩坑：Linux 上修改系统盘 xfs ftype=0 以支持 overlay 的方法

工画师2024-01-09 17:04

背景

在我们的生产环境开通的虚拟主机上尝试安装 kubelet 的时候，发现报了这么一个错误：

[ERROR CRI]: container runtime is not running: output: time="2024-01-09T10:28:09+08:00" level=fatal msg="validate service connection: CRI v1 runtime API is not implemented for endpoint "[unix:///var/run/containerd/containerd.sock]()": rpc error: code = Unimplemented desc = unknown service runtime.v1.RuntimeService"

现象就是 containerd 是好的，但是放到 crictl 去访问的时候就会报 CRI v1 runtime API is not implemented for endpoint 这个错误。

关于这个错误上网找的其他办法主要指向这个：serverfault.com/a/1126729/3...

简单来说就是 /etc/containerd/config.toml 这个文件里面需要关闭 disabled_plugins = ["cri"] 这个配置。但在我的场景下这个配置原本就没有。

然后一番排查，最后通过 systemctl status containerd -l 找到了问题的根源：

failed to create CRI service: failed to find snapshotter "overlayfs"

原本的系统盘 / 下面挂载的是 xfs，查了 xfs 对 overlayfs 的支持需要在格式化的时候指定 ftype=1，而这个没有，验证方法：

bash 复制代码 
xfs_info /

输出是这样的：

bash 复制代码 
meta-data=/dev/mapper/VG01-lv_root isize=256    agcount=4, agsize=2736896 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=0        finobt=0 spinodes=0
data     =                       bsize=4096   blocks=10947584, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=0
log      =internal               bsize=4096   blocks=5345, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

可以看到 ftype=0，说明文件系统不支持。

为了解决这个问题，至少需要保证 /var/lib/containerd 这个目录下的文件系统支持 overlayfs，其实之前用 docker 的时候也遇到过同样的问题，对应的目录是 /var/lib/docker。

我们可以创建一个新的数据盘，将其格式化为 ext4 或者 xfs(ftype=1) 的方式，然后单独挂载到 /var/lib/containerd 上面，这样可以解决问题。

但是这样操作我们需要浪费一块额外的数据盘而且多出来一些很冗余的配置，不是一个特别完美的解决方案。

解决方案

更好的方案显然是直接把系统盘的文件系统改掉，但是显然这需要格式化。

原始的系统磁盘布局是这样的：

bash 复制代码 
# lsblk
NAME              MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda                 8:0    0   50G  0 disk 
├─sda1              8:1    0  200M  0 part /boot
└─sda2              8:2    0 49.8G  0 part 
  ├─VG01-lv_root  253:0    0 41.8G  0 lvm  /
  └─VG01-lv_swap  253:1    0    8G  0 lvm  [SWAP]
sdb                 8:16   0    1G  0 disk 
└─data01vg-appslv 253:2    0  896M  0 lvm  /apps
sr0                11:0    1 1024M  0 rom  

# df -h
文件系统                     容量  已用  可用 已用% 挂载点
devtmpfs                     1.9G     0  1.9G    0% /dev
tmpfs                        1.9G     0  1.9G    0% /dev/shm
tmpfs                        1.9G   36M  1.9G    2% /run
tmpfs                        1.9G     0  1.9G    0% /sys/fs/cgroup
/dev/mapper/VG01-lv_root      42G  5.0G   37G   12% /
tmpfs                        378M     0  378M    0% /run/user/0
/dev/sda1                    197M  112M   86M   57% /boot
/dev/mapper/data01vg-appslv  866M   30M  776M    4% /apps
tmpfs                         60M     0   60M    0% /var/log/rtlog
tmpfs                        378M     0  378M    0% /run/user/1002
tmpfs                        378M     0  378M    0% /run/user/1000

我们申请的资源就是这样，50GB 的系统盘分了两块，其中 VG01-lv_root 有 41.8G 的空间，另外还有 8G 的空间用作 swap 目录。但是实际根目录 / 下面只有 5G 的数据。

受这个帖子的启发，superuser.com/q/1321926/5...，我决定尝试在现有的环境下做一次给系统盘做一个换头手术，将系统盘的文件系统化格式化掉，但是保留原本的所有信息再重新拉起。

注意到，swap 分区其实是多余的，我们装 kubernetes 的时候本来就要关 swap，我们是不是能够用 swap 分区的 8G 空间用来腾挪，从而把根目录的挂载盘格掉呢？这就是我的乾坤大挪移方案：

  1. 关闭 swap，然后将 swap 格式化成 xfs(ftype=1)，挂载到 /mnt 上；
  2. 将根目录 / (VG01-lv_root) 的数据通过 rsync 全部复制到 /mnt (VG01-lv_swap)；
  3. 修改启动条件，将 / 和 /mnt 的挂载盘 (VG01-lv_root 和 VG01-lv_swap) 互换，重启；
  4. 将 /mnt 挂载了 VG-lv_root 格式化成 xfs(ftype=1)；
  5. 将根目录 / (VG01-lv_swap) 的数据通过 rsync 全部复制到 /mnt (VG01-lv_root)；
  6. 修改启动条件，换回最初的版本，重启，大功告成。

我居然把上面这个试通了，下面是实际操作细节：

1. 关闭 swap，格式化并挂载到 /mnt 上

临时关闭 swap (后面再改 /etc/fstab)

bash 复制代码 
swapoff -a

格式化成 xfs(ftype=1)

bash 复制代码 
mkfs.xfs -f -n ftype=1 /dev/mapper/VG01-lv_swap

输出：

ini 复制代码 
meta-data=/dev/mapper/VG01-lv_swap isize=512    agcount=4, agsize=524288 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0, sparse=0
data     =                       bsize=4096   blocks=2097152, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal log           bsize=4096   blocks=2560, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

将 VG01-lv_swap 临时挂载到 /mnt：

bash 复制代码 
mount /dev/mapper/VG01-lv_swap /mnt

2. 将根目录的数据 rsync 到 /mnt 上

注意要加几个特殊的参数，同时忽略 /mnt 目录本身，/boot 目录，以及数据盘挂载的目录 /apps。

bash 复制代码 
rsync -avxHAX --delete --devices --specials --exclude /mnt --exclude /apps --exclude /boot / /mnt/

然后 ls -la /mnt 看一下数据是不是都过去了。

3. 修改启动条件

修改 /mnt/etc/fstab (注意旧的位置 /etc/fstab 已经不 care 了)，原版长这样：

bash 复制代码 
#
# /etc/fstab
# Created by anaconda on Wed Feb 15 08:41:10 2017
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/VG01-lv_root /                       xfs     defaults        0 0
UUID=faa7906a-6ff7-4d7b-bf5e-5ecc4ac54fb3 /boot                   xfs     defaults        0 0
/dev/mapper/VG01-lv_swap swap                    swap    defaults        0 0
/dev/mapper/data01vg-appslv /apps ext4 defaults 0 0

将 VG01-lv_root 改成 VG01-lv_swap，同时注释掉 swap 那行，改完之后变成这样：

bash 复制代码 
#
# /etc/fstab
# Created by anaconda on Wed Feb 15 08:41:10 2017
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/VG01-lv_swap /                       xfs     defaults        0 0
UUID=faa7906a-6ff7-4d7b-bf5e-5ecc4ac54fb3 /boot                   xfs     defaults        0 0
#/dev/mapper/VG01-lv_swap swap                    swap    defaults        0 0
/dev/mapper/data01vg-appslv /apps ext4 defaults 0 0

然后，启动点的配置也要修改，修改 /boot/grub2/grub.cfg（记得先备份原版），找到下面这个位置，将所有 VG01-lv_root 和 VG01-lv_swap 对调：

涉及的原版片段是这样的，共需修改六处：

scss 复制代码 
### BEGIN /etc/grub.d/10_linux ###
menuentry 'CentOS Linux (3.10.0-1160.92.1.el7.x86_64) 7 (Core)' --class centos --class gnu-linux --class gnu --class os --unrestricted $menuentry_id_option 'gnulinux-3.10.0-327.el7.x86_64-advanced-6e2cc491-a603-4ec9-9677-65d425c720e2' {
        load_video
        set gfxpayload=keep
        insmod gzio
        insmod part_msdos
        insmod xfs
        set root='hd0,msdos1'
        if [ x$feature_platform_search_hint = xy ]; then
          search --no-floppy --fs-uuid --set=root --hint-bios=hd0,msdos1 --hint-efi=hd0,msdos1 --hint-baremetal=ahci0,msdos1 --hint='hd0,msdos1'  faa7906a-6ff7-4d7b-bf5e-5ecc4ac54fb3
        else
          search --no-floppy --fs-uuid --set=root faa7906a-6ff7-4d7b-bf5e-5ecc4ac54fb3
        fi
        linux16 /vmlinuz-3.10.0-1160.92.1.el7.x86_64 root=/dev/mapper/VG01-lv_root ro crashkernel=auto rd.lvm.lv=VG01/lv_root rd.lvm.lv=VG01/lv_swap rhgb biosdevname=0 net.ifnames=0  quiet LANG=en_US.UTF-8
        initrd16 /initramfs-3.10.0-1160.92.1.el7.x86_64.img
}
menuentry 'CentOS Linux (0-rescue-5f1865c966684867b0a1a7aec6828fb7) 7 (Core)' --class centos --class gnu-linux --class gnu --class os --unrestricted $menuentry_id_option 'gnulinux-0-rescue-5f1865c966684867b0a1a7aec6828fb7-advanced-6e2cc491-a60
3-4ec9-9677-65d425c720e2' {
        load_video
        insmod gzio
        insmod part_msdos
        insmod xfs
        set root='hd0,msdos1'
        if [ x$feature_platform_search_hint = xy ]; then
          search --no-floppy --fs-uuid --set=root --hint-bios=hd0,msdos1 --hint-efi=hd0,msdos1 --hint-baremetal=ahci0,msdos1 --hint='hd0,msdos1'  faa7906a-6ff7-4d7b-bf5e-5ecc4ac54fb3
        else
          search --no-floppy --fs-uuid --set=root faa7906a-6ff7-4d7b-bf5e-5ecc4ac54fb3
        fi
        linux16 /vmlinuz-0-rescue-5f1865c966684867b0a1a7aec6828fb7 root=/dev/mapper/VG01-lv_root ro crashkernel=auto rd.lvm.lv=VG01/lv_root rd.lvm.lv=VG01/lv_swap rhgb biosdevname=0 net.ifnames=0  quiet
        initrd16 /initramfs-0-rescue-5f1865c966684867b0a1a7aec6828fb7.img
}

搞定之后，reboot 重启（注意这个地方千万别搞错，否则启动不了就直接原地暴毙了）。

4. 重启后格式化 VG01-lv_root

如果能够正常重启，最难的这一关就已经渡过，先 lsblk 确认下挂载情况:

bash 复制代码 
# lsblk
NAME              MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda                 8:0    0   50G  0 disk 
├─sda1              8:1    0  200M  0 part 
└─sda2              8:2    0 49.8G  0 part 
  ├─VG01-lv_swap  253:0    0    8G  0 lvm  /
  └─VG01-lv_root  253:1    0 41.8G  0 lvm  
sdb                 8:16   0    1G  0 disk 
└─data01vg-appslv 253:2    0  896M  0 lvm  /apps
sr0                11:0    1 1024M  0 rom

可以看到根目录已经挂载到只有 8G 的 VG01-lv_swap 上了，现在 VG01-lv_root 已经腾挪出来了。

然后格式化：

bash 复制代码 
mkfs.xfs -f -n ftype=1 /dev/mapper/VG01-lv_root

临时挂载到 /mnt：

bash 复制代码 
mkdir -p /mnt  # 如果原来没有这个目录就创建一下
mount /dev/mapper/VG01-lv_root /mnt

5. 再挪一次系统盘数据

bash 复制代码 
rsync -avxHAX --delete --devices --specials --exclude /mnt --exclude /apps --exclude /boot / /mnt/

挪完看一下是不是数据都在了，进入下一步。

6. 把启动条件改回去

修改 /mnt/etc/fstab，把根目录的挂载设备从 lv_swap 改回 lv_root

bash 复制代码 
#
# /etc/fstab
# Created by anaconda on Wed Feb 15 08:41:10 2017
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/VG01-lv_root /                       xfs     defaults        0 0
UUID=faa7906a-6ff7-4d7b-bf5e-5ecc4ac54fb3 /boot                   xfs     defaults        0 0
#/dev/mapper/VG01-lv_swap swap                    swap    defaults        0 0
/dev/mapper/data01vg-appslv /apps ext4 defaults 0 0

修改启动配置，修改 /boot/grub2/grub.cfg，直接把原来备份那个挪回去就好。

中间出了点小插曲，发现 /boot 里面东西不见了，对照一下其他没改过的主机，是挂在在 /dev/sda1 上面的，因此临时挂载一下就 OK (mount /dev/sda1 /boot)，不影响。

重启，大功告成。

结果验证

搞完之后，看一下挂载情况：

bash 复制代码 
# lsblk
NAME              MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda                 8:0    0   50G  0 disk 
├─sda1              8:1    0  200M  0 part /boot
└─sda2              8:2    0 49.8G  0 part 
  ├─VG01-lv_root  253:0    0 41.8G  0 lvm  /
  └─VG01-lv_swap  253:1    0    8G  0 lvm  
sdb                 8:16   0    1G  0 disk 
└─data01vg-appslv 253:2    0  896M  0 lvm  /apps
sr0                11:0    1 1024M  0 rom

众神归位，好，再看一下磁盘格式：

ini 复制代码 
# xfs_info /
meta-data=/dev/mapper/VG01-lv_root isize=512    agcount=4, agsize=2736896 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0 spinodes=0
data     =                       bsize=4096   blocks=10947584, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal               bsize=4096   blocks=5345, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

看到 ftype=1 了，说明系统盘格式已经转换成功。

再看看 CRI 接口的支持（如果还是不支持 overlay 的话就会报开始那个错误）：

arduino 复制代码 
# crictl images
IMAGE               TAG                 IMAGE ID            SIZE

没有报错就是已经好了。

不确定通过 rsync 同步数据的方式是否会造成某些问题，但是目前来看一切正常，如果大家参考这个实践的话可能实际的硬盘挂载情况会有很大的不同，这里主要参考思路，切勿照搬，操作风险也比较大，请谨慎操作。

相关推荐
a266378962 分钟前
解决yum命令报错“Could not resolve host: mirrorlist.centos.org
linux·运维·centos
上海文顺负载箱15 分钟前
如何评估焊机测试负载均衡性能
运维·负载均衡
铁锤妹妹头发多1 小时前
新手用docker真**难受
运维·docker·容器
2739920291 小时前
Ubuntu20.04 安装build-essential问题
linux
超栈1 小时前
HCIP（11）-期中综合实验（BGP、Peer、OSPF、VLAN、IP、Route-Policy）
运维·网络·网络协议·计算机网络·web安全·网络安全·信息与通信
Cachel wood1 小时前
Github配置ssh key原理及操作步骤
运维·开发语言·数据库·windows·postgresql·ssh·github
编程一生1 小时前
回调数据丢了？
运维·服务器·前端
华为云PaaS服务小智2 小时前
华为大咖说 | 浅谈智能运维技术
运维·华为·华为云
zhd15306915625ff4 小时前
化工厂主要涉及的自动化备件有哪些？
运维·自动化·化工厂
Jason-河山4 小时前
利用API返回值实现商品信息自动化更新：技术与实践
运维·自动化
热门推荐
01如何才能让手机厂商主动拥抱华为，接入鸿蒙系统？02【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总03组基轨迹建模 GBTM的介绍与实现（Stata 或 R）04【TC3xx芯片】TC3xx芯片电源管理系统PMS详解05基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测06【经验分享】Ubuntu22.04安装微信(linux官方版)07文件或文件夹名称中有空格如何批量去除08RAG 实践- Ollama+RagFlow 部署本地知识库09Windows10安装PCL1.14.0及点云配准10Macbook pro M1 安装Ubuntu教程