MongoDB教程(二十一):MongoDB大文件存储GridFS

💝💝💝首先,欢迎各位来到我的博客,很高兴能够在这里和您见面!希望您在这里不仅可以有所收获,同时也能感受到一份轻松欢乐的氛围,祝你生活愉快!

文章目录

      • 引言
      • [一、GridFS 概述](#一、GridFS 概述)
      • [二、GridFS 的组成](#二、GridFS 的组成)
      • [三、使用 GridFS](#三、使用 GridFS)
        • [1. 导入 GridFS 模块](#1. 导入 GridFS 模块)
        • [2. 创建 GridFS Bucket](#2. 创建 GridFS Bucket)
        • [3. 存储文件](#3. 存储文件)
        • [4. 检索文件](#4. 检索文件)
      • 四、案例:存储和检索图片
        • [1. 创建 GridFS Bucket](#1. 创建 GridFS Bucket)
        • [2. 存储图片](#2. 存储图片)
        • [3. 检索图片](#3. 检索图片)
      • [五、GridFS 的优势与局限](#五、GridFS 的优势与局限)
      • 六、结论

引言

在处理多媒体文件、文档或其他大型二进制数据时,传统的文件存储方式往往难以满足高并发、可扩展和易管理的需求。MongoDB 通过 GridFS 模块提供了一套完整的解决方案,用于存储和检索大型文件。本文将深入探讨 GridFS 的工作原理,以及如何在 MongoDB 中使用 GridFS 存储和检索文件。

一、GridFS 概述

GridFS 是 MongoDB 的一个规范,用于存储和检索超过 MongoDB 单个文档大小限制(16MB)的文件。GridFS 并不是 MongoDB 的一部分,而是由 MongoDB 社区开发的,旨在提供一种简单、可靠的文件存储方式。GridFS 将文件拆分为多个小块存储,每个小块不超过 255KB,并为每个小块创建一个文档,同时为整个文件创建一个元数据文档。

二、GridFS 的组成

GridFS 主要由两个集合组成:

  • fs.files:存储文件的元数据,如文件名、长度、上传时间等。
  • fs.chunks:存储文件的实际数据,每个文件被拆分为多个小块,每个小块对应 fs.chunks 集合中的一个文档。

三、使用 GridFS

1. 导入 GridFS 模块

在 MongoDB shell 中,可以直接使用 GridFS 功能,但在使用 JavaScript 或其他编程语言的驱动程序时,需要导入相应的 GridFS 模块。

2. 创建 GridFS Bucket

在 MongoDB 3.4 及以后的版本中,引入了 GridFS Bucket,它提供了一个更简洁的 API 来使用 GridFS。

javascript 复制代码
// MongoDB Shell
const fs = new FSBucket(db, { bucketName: "myFiles" });
3. 存储文件

使用 GridFS 存储文件非常直观,可以将文件流或 Buffer 对象传递给 uploadFromStream 或 uploadFromBuffer 方法。

javascript 复制代码
// MongoDB Shell
const fs = new FSBucket(db, { bucketName: "myFiles" });

// 假设 'file' 是一个文件流
const fileId = await fs.uploadFromStream("myFile.txt", file);
4. 检索文件

检索文件同样简单,可以使用 openDownloadStream 或 openDownloadStreamById 方法来获取文件流。

javascript 复制代码
// MongoDB Shell
const fs = new FSBucket(db, { bucketName: "myFiles" });

// 假设 'fileId' 是存储文件时返回的 ID
const readStream = fs.openDownloadStreamById(fileId);

// 读取文件流
let data = [];
readStream.on('data', chunk => data.push(chunk));
readStream.on('end', () => console.log(Buffer.concat(data)));

四、案例:存储和检索图片

假设我们有一个应用,需要存储用户上传的图片,并在需要时能够快速检索和显示这些图片。

1. 创建 GridFS Bucket
javascript 复制代码
const fs = new FSBucket(db, { bucketName: "images" });
2. 存储图片
javascript 复制代码
const fs = new FSBucket(db, { bucketName: "images" });

const image = fs.createWriteStream({ filename: "example.jpg" });
image.write(imageBuffer);
image.end();

这里,imageBuffer 是图片文件的 Buffer 对象。

3. 检索图片
javascript 复制代码
const fs = new FSBucket(db, { bucketName: "images" });

const readStream = fs.openDownloadStreamByName("example.jpg");

// 将文件流转换为 Buffer
let data = [];
readStream.on('data', chunk => data.push(chunk));
readStream.on('end', () => {
    const imageData = Buffer.concat(data);
    // 使用 imageData 显示或处理图片
});

五、GridFS 的优势与局限

优势
  • 可扩展性:GridFS 能够处理任意大小的文件,通过将文件拆分为小块,可以轻松地扩展到大量文件和大文件的场景。
  • 可靠性:即使单个块损坏,也可以通过其他块恢复文件。
  • 元数据:GridFS 允许存储与文件相关的元数据,如文件名、MIME 类型等。
局限
  • 性能:对于小型文件,使用 GridFS 可能不如直接将文件作为二进制数据存储在文档中高效。
  • 复杂性:GridFS 的使用涉及到多个集合和文档,对于简单的文件存储需求,可能显得过于复杂。

六、结论

MongoDB 的 GridFS 提供了一种可靠、可扩展的解决方案,用于存储和检索大型文件。上面介绍了如何在 MongoDB 中使用 GridFS 存储和检索文件。在实际应用中,GridFS 可以满足多媒体应用、文档管理等场景的文件存储需求,同时确保数据的完整性和系统的可扩展性。


喜欢博主的同学,请给博主一丢丢打赏吧↓↓↓您的支持是我不断创作的最大动力哟!感谢您的支持哦😘😘😘

💝💝💝如有需要请大家订阅我的专栏【MongoDB系列】哟!我会定期更新相关系列的文章
💝💝💝关注!关注!!请关注!!!请大家关注下博主,您的支持是我不断创作的最大动力!!!

MongoDB相关文章索引 文章链接
MongoDB教程(一):Linux系统安装mongoDB详细教程 MongoDB教程(一):Linux系统安装mongoDB详细教程
MongoDB教程(二):mongoDB引用shell MongoDB教程(二):mongoDB引用shell
MongoDB教程(三):mongoDB用户管理 MongoDB教程(三):mongoDB用户管理
MongoDB教程(四):mongoDB索引 MongoDB教程(四):mongoDB索引
MongoDB教程(五):mongoDB聚合框架 MongoDB教程(五):mongoDB聚合框架
MongoDB教程(六):mongoDB复制副本集 MongoDB教程(六):mongoDB复制副本集
MongoDB教程(七):mongoDB分片 MongoDB教程(七):mongoDB分片
MongoDB教程(八):mongoDB数据备份与恢复 MongoDB教程(八):mongoDB数据备份与恢复
MongoDB教程(九):java集成mongoDB MongoDB教程(九):java集成mongoDB
MongoDB教程(十):Python集成mongoDB MongoDB教程(十):Python集成mongoDB
MongoDB教程(十一):MongoDB关系管理与文档关联 MongoDB教程(十一):MongoDB关系管理与文档关联
MongoDB教程(十二):MongoDB数据库索引 MongoDB教程(十二):MongoDB数据库索引
MongoDB教程(十四):MongoDB查询分析 MongoDB教程(十四):MongoDB查询分析
MongoDB教程(十五):MongoDB原子操作 MongoDB教程(十五):MongoDB原子操作
MongoDB教程(十六):MongoDB高级索引 MongoDB教程(十六):MongoDB高级索引
MongoDB教程(十七):MongoDB主键类型ObjectId MongoDB教程(十七):MongoDB主键类型ObjectId
MongoDB教程(十八):MongoDB MapReduce MongoDB教程(十八):MongoDB MapReduce
MongoDB教程(十九):MongoDB全文检索 MongoDB教程(十九):MongoDB全文检索
MongoDB教程(二十):MongoDB正则表达式 MongoDB教程(二十):MongoDB正则表达式

❤️❤️❤️觉得有用的话点个赞 👍🏻 呗。
❤️❤️❤️本人水平有限,如有纰漏,欢迎各位大佬评论批评指正!😄😄😄
💘💘💘如果觉得这篇文对你有帮助的话,也请给个点赞、收藏下吧,非常感谢!👍 👍 👍
🔥🔥🔥Stay Hungry Stay Foolish 道阻且长,行则将至,让我们一起加油吧!🌙🌙🌙

相关推荐
Nebula_g几秒前
云禾外卖补充—项目整体后端运行逻辑-对流程的更深层次理解
java·开发语言·网络·数据库·状态模式·javase
太理摆烂哥4 分钟前
MySQL数据类型
数据库·mysql
程序员小孔.10 分钟前
基于 SpringBoot + UniApp + Vue 的家政服务系统设计与实现
前端·数据库·spring boot·python·docker·微信小程序
草莓熊Lotso4 小时前
【C++ 基于微服务的即时通讯系统】etcd + brpc 从安装到服务注册发现全链路实战
网络·数据库·c++·redis·微服务·etcd
Lethehong9 小时前
Oracle 加个字段,目标库就报错?KFS 用“先拆后组“打通异构 DDL
数据库·oracle
Web极客码10 小时前
锁定真正的磁盘卡顿:我用 OpenCode 配合 eBPF 诊断 NVMe 队列深度延迟与 I/O 写放大
数据库·oracle
cspttty10 小时前
2027用户研究求职准备:应用统计学如何补齐研究设计与业务表达
大数据·数据库
roman_日积跬步-终至千里11 小时前
【数据Agent论文·查询与语义|05】Spider:为什么换一个数据库,模型就不会查了?
数据库·数据分析
猫咪很可爱12 小时前
Oracle RAC 启动失败排查:私网通信与内核参数优化实战
运维·数据库·oracle
XLYcmy12 小时前
《数字经济赋能城市低碳治理的路径研究检索报告》审阅与修改指导意见——基于完整检索报告体例的完整性诊断、学术规范核查与方法论纠偏 上
数据库·ai·chatgpt·文心一言·检索·知网·豆包