记一次 minio 排障

问题现象:

中午接到开发反馈,生产上无法上传附件。接口显示 minio 问题,超时,无法访问

  • minio 控制台 也登录不上

  • 查看 minio 服务报错:

    journalctl -u minio.service --since today

  • 发现大批量报错:

    API: PutObject
    Time: 03:01:53 UTC 12/15/2025
    DeploymentID: 944869e6-7044-4c56-a3bf-64d00fa843cc
    RequestID: 188144605A9808E1
    RemoteHost: 192.168.3.111
    UserAgent: MinIO (Linux; amd64) minio-java/8.5.7

    Error: drive:/home/application/Middleware/minio/data, srcVolume: .minio.sys/tmp, srcPath: c6ce506f-87c0-453f-a9e2-b6245c05171e, dstVolume: srebro:, dstPath: 53ba5209-8843-4df1-b41d-b5b798cd6080 - error drive path full (*errors.errorString)

    Backtrace:
    0: internal/logger/logonce.go:118:logger.(*logOnceType).logOnceIf()
    1: internal/logger/logonce.go:149:logger.LogOnceIf()
    2: cmd/logging.go:142:cmd.storageLogOnceIf()
    3: cmd/xl-storage.go:2469:cmd.(*xlStorage).RenameData.func1()
    4: cmd/xl-storage.go:2768:cmd.(*xlStorage).RenameData()
    5: cmd/xl-storage-disk-id-check.go:484:cmd.(*xlStorageDiskIDCheck).RenameData.func2()
    6: internal/ioutil/ioutil.go:116:ioutil.WithDeadline[...].func1()

  • 翻阅资料,查看到官方的代码仓库上有一个 issue 相识:https://github.com/minio/minio/issues/17055

有人反馈说是,ext4 文件系统,目录的索引(HTree)已达到默认的最大层级;

  • 继续查看系统级别日志,发现果然 文件系统一直在报错:

    Dec 15 03:22:22 localhost kernel: [20102682.954029] EXT4-fs warning (device dm-2): ext4_dx_add_entry:2451: Large directory feature is not enabled on this filesystem

    Dec 15 03:22:24 localhost kernel: [20102682.954029] EXT4-fs warning (device dm-2): ext4_dx_add_entry:2451: Large directory feature is not enabled on this filesystem

    Dec 15 03:22:26 localhost kernel: [20102682.954029] EXT4-fs warning (device dm-2): ext4_dx_add_entry:2451: Large directory feature is not enabled on this filesystem

    Dec 15 03:22:28 localhost kernel: [20102682.954029] EXT4-fs warning (device dm-2): ext4_dx_add_entry:2451: Large directory feature is not enabled on this filesystem

  • 问题分析:

    • 这是内核的 EXT4 警告,表示某个目录的索引(HTree)已达到默认的最大层级,继续插入新目录项需要启用 EXT4 的"大目录"特性( large_dir ),但当前文件系统未启用该特性。

    • 典型触发场景是"单个目录下存在超大量文件/子目录"(千万级以上),插入新文件时会出现"Directory index full"和"Large directory feature is not enabled"这两条警告连续出现。

处理方式:

  • 停用 minio 服务

    systemctl stop minio

  • 启用大目录特性

    tune2fs -O large_dir /dev/dm-2

  • 启用 large_dir 可以解决"目录索引达到最大层级(htree level 2)"导致的警告和后续插入失败/变慢问题;启用后目录支持更高层级索引,能继续容纳超大数量的目录项。

  • 启动 minio 服务

    systemctl start minio

  • 观察日志是否还有报错

    journalctl -k --since '-10 min' | grep -E 'ext4_dx_add_entry|Large directory'

思考:

  • 出现这个问题,本质是 minio 数据目录下,单个目录下存在超大量文件/子目录"(千万级以上),业务上没有做分桶,分区的处理;数据文件没有设置生命周期归档处理;导致数据量一直在增长,数据量达到了 3.7T,文件 13395087个。

  • 运维侧,在初始化项目的时候,没有考虑到 xfs 系统 和 ext4 系统在 目录索引这块的差别;

    • XFS :目录使用 B+tree,天然支持多层索引,默认就能高效处理超大目录。
    • ext4 :目录使用 HTree 索引,默认是"两层 HTree"(特性为 dir_index ),单目录通常能容纳约 10--12 百万个条目;达到两层上限后会出现 "Directory index full / Large directory feature is not enabled" 警告。
  • 完善 minio 监控这块的不足,发现问题能及时通知响应处理。官方文档(https://min-io.cn/docs/minio/kubernetes/upstream/operations/monitoring.html)

相关推荐
schinber3 天前
MinIO生成环境如何做到负载均衡
中间件·minio
Miya_Ye3 天前
SeedWeedfs学习
对象存储·seedweedfs
Knight_AL4 天前
MinIO public / private Bucket 最佳实践(生产级设计)
minio·oss
m0_726965984 天前
半小时速成下载安装配置minio
minio·oss·对象存储系统
大霸王龙4 天前
MinIO 对象存储系统架构图集
人工智能·llm·minio
he___H6 天前
关于Amazon S3; Status Code: 403; Error Code: 403 Forbidden问题
java·报错·minio
分布式存储与RustFS6 天前
担心 MinIO 维护影响业务?三行配置实现到 RustFS 的无感切换
开源·对象存储·minio·企业存储·rustfs
云存储小天使10 天前
让 AI 更普惠:向量存储桶为海量 AI 记忆提供高性价比的 “数字基石”
腾讯云·对象存储·向量存储桶
金刚猿12 天前
DolphinScheduler 3.1.9 + Minio 开发环境【IDEA】搭建访问及相关问题处理
minio·dolphin