记一次 minio 排障

问题现象:

中午接到开发反馈,生产上无法上传附件。接口显示 minio 问题,超时,无法访问

  • minio 控制台 也登录不上

  • 查看 minio 服务报错:

    journalctl -u minio.service --since today

  • 发现大批量报错:

    API: PutObject
    Time: 03:01:53 UTC 12/15/2025
    DeploymentID: 944869e6-7044-4c56-a3bf-64d00fa843cc
    RequestID: 188144605A9808E1
    RemoteHost: 192.168.3.111
    UserAgent: MinIO (Linux; amd64) minio-java/8.5.7

    Error: drive:/home/application/Middleware/minio/data, srcVolume: .minio.sys/tmp, srcPath: c6ce506f-87c0-453f-a9e2-b6245c05171e, dstVolume: srebro:, dstPath: 53ba5209-8843-4df1-b41d-b5b798cd6080 - error drive path full (*errors.errorString)

    Backtrace:
    0: internal/logger/logonce.go:118:logger.(*logOnceType).logOnceIf()
    1: internal/logger/logonce.go:149:logger.LogOnceIf()
    2: cmd/logging.go:142:cmd.storageLogOnceIf()
    3: cmd/xl-storage.go:2469:cmd.(*xlStorage).RenameData.func1()
    4: cmd/xl-storage.go:2768:cmd.(*xlStorage).RenameData()
    5: cmd/xl-storage-disk-id-check.go:484:cmd.(*xlStorageDiskIDCheck).RenameData.func2()
    6: internal/ioutil/ioutil.go:116:ioutil.WithDeadline[...].func1()

  • 翻阅资料,查看到官方的代码仓库上有一个 issue 相识:https://github.com/minio/minio/issues/17055

有人反馈说是,ext4 文件系统,目录的索引(HTree)已达到默认的最大层级;

  • 继续查看系统级别日志,发现果然 文件系统一直在报错:

    Dec 15 03:22:22 localhost kernel: [20102682.954029] EXT4-fs warning (device dm-2): ext4_dx_add_entry:2451: Large directory feature is not enabled on this filesystem

    Dec 15 03:22:24 localhost kernel: [20102682.954029] EXT4-fs warning (device dm-2): ext4_dx_add_entry:2451: Large directory feature is not enabled on this filesystem

    Dec 15 03:22:26 localhost kernel: [20102682.954029] EXT4-fs warning (device dm-2): ext4_dx_add_entry:2451: Large directory feature is not enabled on this filesystem

    Dec 15 03:22:28 localhost kernel: [20102682.954029] EXT4-fs warning (device dm-2): ext4_dx_add_entry:2451: Large directory feature is not enabled on this filesystem

  • 问题分析:

    • 这是内核的 EXT4 警告,表示某个目录的索引(HTree)已达到默认的最大层级,继续插入新目录项需要启用 EXT4 的"大目录"特性( large_dir ),但当前文件系统未启用该特性。

    • 典型触发场景是"单个目录下存在超大量文件/子目录"(千万级以上),插入新文件时会出现"Directory index full"和"Large directory feature is not enabled"这两条警告连续出现。

处理方式:

  • 停用 minio 服务

    systemctl stop minio

  • 启用大目录特性

    tune2fs -O large_dir /dev/dm-2

  • 启用 large_dir 可以解决"目录索引达到最大层级(htree level 2)"导致的警告和后续插入失败/变慢问题;启用后目录支持更高层级索引,能继续容纳超大数量的目录项。

  • 启动 minio 服务

    systemctl start minio

  • 观察日志是否还有报错

    journalctl -k --since '-10 min' | grep -E 'ext4_dx_add_entry|Large directory'

思考:

  • 出现这个问题,本质是 minio 数据目录下,单个目录下存在超大量文件/子目录"(千万级以上),业务上没有做分桶,分区的处理;数据文件没有设置生命周期归档处理;导致数据量一直在增长,数据量达到了 3.7T,文件 13395087个。

  • 运维侧,在初始化项目的时候,没有考虑到 xfs 系统 和 ext4 系统在 目录索引这块的差别;

    • XFS :目录使用 B+tree,天然支持多层索引,默认就能高效处理超大目录。
    • ext4 :目录使用 HTree 索引,默认是"两层 HTree"(特性为 dir_index ),单目录通常能容纳约 10--12 百万个条目;达到两层上限后会出现 "Directory index full / Large directory feature is not enabled" 警告。
  • 完善 minio 监控这块的不足,发现问题能及时通知响应处理。官方文档(https://min-io.cn/docs/minio/kubernetes/upstream/operations/monitoring.html)

相关推荐
sg_knight1 天前
如何实现“秒传”与“断点续传”?MinIO + Java 实战进阶篇
java·开发语言·文件管理·minio·ftp·oss·文件传输
分布式存储与RustFS1 天前
对象存储轻量化部署趋势:RustFS 单机版 vs MinIO 单机版,开发测试场景最优选择
对象存储·单机部署·rustfs·minio平替·轻量化存储·windows原生·开发测试
分布式存储与RustFS2 天前
MinIO 社区版 vs 企业版 vs RustFS:2026 全面拆解,AGPL 协议风险与信创适配必看
对象存储·s3·企业存储·rustfs·minio国产化替代·minio平替·国产对象存储rustfs
分布式存储与RustFS2 天前
AI 数据湖最佳实践:RustFS 支撑大模型训练的存储架构与性能优化
人工智能·性能优化·架构·对象存储·minio·企业存储·rustfs
分布式存储与RustFS5 天前
Windows原生版RustFS:无需Docker,1分钟本地对象存储环境搭建
windows·docker·容器·对象存储·minio·企业存储·rustfs
阿杜杜不是阿木木6 天前
authentik开源身份认证与管理平台-与 MinIO 集成(8)
minio·authentik
问道飞鱼8 天前
【分布式技术】分布式对象存储服务RustFS
分布式·对象存储·rustfs
sg_knight9 天前
Docker环境下的MinIO安装,以及如何正确配置数据持久化(避坑篇)
运维·docker·容器·minio·ftp·cos·oss
sg_knight9 天前
MinIO自带的Web Console管理后台怎么用?日常管理操作全解
前端·文件管理·minio·ftp·cos·oss
分布式存储与RustFS10 天前
RustFS永久开源承诺深度解读:Apache 2.0协议、商业化边界、社区可信度
开源·apache·数据安全·对象存储·minio·企业存储·rustfs