记一次 minio 排障

问题现象:

中午接到开发反馈,生产上无法上传附件。接口显示 minio 问题,超时,无法访问

  • minio 控制台 也登录不上

  • 查看 minio 服务报错:

    journalctl -u minio.service --since today

  • 发现大批量报错:

    API: PutObject
    Time: 03:01:53 UTC 12/15/2025
    DeploymentID: 944869e6-7044-4c56-a3bf-64d00fa843cc
    RequestID: 188144605A9808E1
    RemoteHost: 192.168.3.111
    UserAgent: MinIO (Linux; amd64) minio-java/8.5.7

    Error: drive:/home/application/Middleware/minio/data, srcVolume: .minio.sys/tmp, srcPath: c6ce506f-87c0-453f-a9e2-b6245c05171e, dstVolume: srebro:, dstPath: 53ba5209-8843-4df1-b41d-b5b798cd6080 - error drive path full (*errors.errorString)

    Backtrace:
    0: internal/logger/logonce.go:118:logger.(*logOnceType).logOnceIf()
    1: internal/logger/logonce.go:149:logger.LogOnceIf()
    2: cmd/logging.go:142:cmd.storageLogOnceIf()
    3: cmd/xl-storage.go:2469:cmd.(*xlStorage).RenameData.func1()
    4: cmd/xl-storage.go:2768:cmd.(*xlStorage).RenameData()
    5: cmd/xl-storage-disk-id-check.go:484:cmd.(*xlStorageDiskIDCheck).RenameData.func2()
    6: internal/ioutil/ioutil.go:116:ioutil.WithDeadline[...].func1()

  • 翻阅资料,查看到官方的代码仓库上有一个 issue 相识:https://github.com/minio/minio/issues/17055

有人反馈说是,ext4 文件系统,目录的索引(HTree)已达到默认的最大层级;

  • 继续查看系统级别日志,发现果然 文件系统一直在报错:

    Dec 15 03:22:22 localhost kernel: [20102682.954029] EXT4-fs warning (device dm-2): ext4_dx_add_entry:2451: Large directory feature is not enabled on this filesystem

    Dec 15 03:22:24 localhost kernel: [20102682.954029] EXT4-fs warning (device dm-2): ext4_dx_add_entry:2451: Large directory feature is not enabled on this filesystem

    Dec 15 03:22:26 localhost kernel: [20102682.954029] EXT4-fs warning (device dm-2): ext4_dx_add_entry:2451: Large directory feature is not enabled on this filesystem

    Dec 15 03:22:28 localhost kernel: [20102682.954029] EXT4-fs warning (device dm-2): ext4_dx_add_entry:2451: Large directory feature is not enabled on this filesystem

  • 问题分析:

    • 这是内核的 EXT4 警告,表示某个目录的索引(HTree)已达到默认的最大层级,继续插入新目录项需要启用 EXT4 的"大目录"特性( large_dir ),但当前文件系统未启用该特性。

    • 典型触发场景是"单个目录下存在超大量文件/子目录"(千万级以上),插入新文件时会出现"Directory index full"和"Large directory feature is not enabled"这两条警告连续出现。

处理方式:

  • 停用 minio 服务

    systemctl stop minio

  • 启用大目录特性

    tune2fs -O large_dir /dev/dm-2

  • 启用 large_dir 可以解决"目录索引达到最大层级(htree level 2)"导致的警告和后续插入失败/变慢问题;启用后目录支持更高层级索引,能继续容纳超大数量的目录项。

  • 启动 minio 服务

    systemctl start minio

  • 观察日志是否还有报错

    journalctl -k --since '-10 min' | grep -E 'ext4_dx_add_entry|Large directory'

思考:

  • 出现这个问题,本质是 minio 数据目录下,单个目录下存在超大量文件/子目录"(千万级以上),业务上没有做分桶,分区的处理;数据文件没有设置生命周期归档处理;导致数据量一直在增长,数据量达到了 3.7T,文件 13395087个。

  • 运维侧,在初始化项目的时候,没有考虑到 xfs 系统 和 ext4 系统在 目录索引这块的差别;

    • XFS :目录使用 B+tree,天然支持多层索引,默认就能高效处理超大目录。
    • ext4 :目录使用 HTree 索引,默认是"两层 HTree"(特性为 dir_index ),单目录通常能容纳约 10--12 百万个条目;达到两层上限后会出现 "Directory index full / Large directory feature is not enabled" 警告。
  • 完善 minio 监控这块的不足,发现问题能及时通知响应处理。官方文档(https://min-io.cn/docs/minio/kubernetes/upstream/operations/monitoring.html)

相关推荐
云存储小天使20 小时前
当 AI Agent 需要“记住”文件:MountPoint + newCOS 在沙箱场景的应用实践
对象存储·沙箱
分布式存储与RustFS1 天前
RustFS S3 Table 开源后,我重新梳理了一下 Iceberg 数据湖的选型思路
人工智能·开源·minio·dpu·rustfs·ai存储·s3 table
AOwhisky11 天前
Ceph系列第五期:Ceph 对象存储(RADOS Gateway)精讲
linux·运维·笔记·ceph·gateway·对象存储
sg_knight14 天前
负载均衡配置:使用 Nginx 反向代理 MinIO 集群的实战教程
运维·nginx·负载均衡·文件管理·minio·cos·oss
分布式存储与RustFS14 天前
AI 多模态记忆数据:基于 RustFS 搭建分层高性能存储实战
人工智能·对象存储·rustfs·ai记忆·ai memory·minio国产替代·分布式存储实战
XSKY星辰天合20 天前
从“能存下”到“训得动”:XSKY XEOS 支撑头部 AI 实验室建设 EB 级数据湖
数据湖·对象存储·分布式存储
分布式存储与RustFS1 个月前
RustFS:国产对象存储的新希望
对象存储·分布式存储·rustfs·国产自研·轻量化存储·信创替代·minio替代
遇见火星1 个月前
MinIO使用笔记
笔记·minio
分布式存储与RustFS1 个月前
RustFS Beta 正式发布:从可用到稳定,对象存储国产替代迎来里程碑
对象存储·国产信创·rustfs·ai存储·minio平替·国产对象存储·开源存储
云存储小天使1 个月前
构筑数据磐石:腾讯云自研磁带引擎技术剖析
腾讯云·对象存储·深度归档存储