MongoDB GridFS 历史数据自动化清理实践

背景介绍

在生产环境中，我们使用 MongoDB 的 GridFS 存储系统来管理文件数据。随着业务的发展，历史文件数据不断积累，导致存储空间快速增长。为了有效管理存储资源并控制成本，我们需要定期清理过期的历史文件数据。

问题分析

在 GridFS 系统中，文件被分成两个集合存储：

fs.files：存储文件元数据
fs.chunks：存储文件数据块

传统的数据清理方式存在以下问题：

删除操作可能不完整，导致孤立 chunks 残留
MongoDB 的存储空间不会自动回收

解决方案

为了解决上述问题，我们设计了以下方案：

第一步：清理历史数据

首先，我们需要清理历史数据。由于 GridFS 系统的设计，文件数据被分成多个数据块存储，因此我们需要找到所有文件数据块的集合，并删除其中的过期数据。

例如：删除30天前的历史数据：

javascript 复制代码

// 删除30天前的文件
var cutoff = new Date();
cutoff.setDate(cutoff.getDate() - 30);

// 先统计
var oldFiles = db.fs.files.find({
    "uploadDate": { $lt: cutoff }
}).count();
print("30天前的文件数量: " + oldFiles);

// 再删除（谨慎执行）
// db.fs.files.find({"uploadDate": { $lt: cutoff }}).forEach(function(file) {
//     db.fs.chunks.deleteMany({ "files_id": file._id });
//     db.fs.files.deleteOne({ "_id": file._id });
// });

第二步：清理孤立 Chunks

在删除历史数据后，可能会有一些孤立的 chunks 残留（即 chunks 存在但对应的 files 记录已被删除）。这些孤立数据会占用存储空间但无法被正常访问。

检查数据库状态

javascript 复制代码

// 检查数据库统计
db.stats()

// 查看所有集合
db.getCollectionNames().forEach(function(name) {
    var stats = db[name].stats();
    print("=== " + name + " ===");
    print("记录数: " + stats.count);
    print("存储大小: " + (stats.storageSize / 1024 / 1024 / 1024).toFixed(2) + " GB");
    print("数据大小: " + (stats.size / 1024 / 1024 / 1024).toFixed(2) + " GB");
});

如果找到 fs.chunks 和 fs.files 集合中存在孤立的 chunks，可以执行以下脚本来删除它们：

javascript 复制代码

// 如果集合存在但文件数为0，删除 chunks
if (db.fs.chunks && db.fs.chunks.count() > 0) {
    print("发现 " + db.fs.chunks.count() + " 个孤立 chunks");
    print("准备删除 fs.chunks 集合...");
    db.fs.chunks.drop();
    print("已删除 fs.chunks 集合");
}

// 执行空间回收
if (db.getCollectionNames().includes("fs.chunks")) {
    db.runCommand({compact: "fs.chunks"});
}
if (db.getCollectionNames().includes("fs.files")) {
    db.runCommand({compact: "fs.files"});
}

第三步：压缩存储空间

最后，我们使用 MongoDB 的 compact 命令来回收磁盘空间。这个步骤会重新组织数据文件，释放被删除数据占用的空间。

javascript 复制代码

// 压缩 fs.files 集合
db.runCommand({compact: "fs.files"});

// 压缩 fs.chunks 集合
db.runCommand({compact: "fs.chunks"});

总结

GridFS 系统的设计使得它可以存储大量的文件数据，但同时也带来了一些管理上的挑战。本文介绍了如何清理历史数据，并回收磁盘空间，有效地管理存储资源。