【MongoDB】2.MongoDB导入文件

目录

[一、MongoDB Compass](#一、MongoDB Compass)

二、mongoimport

1、安装

2、语法:

3、可能出现的错误

三、MongoDB的GridFS

1、介绍

2、语法


一、MongoDB Compass

这个简单,不做赘述

二、mongoimport

Mongoimport是一个用于导入数据到MongoDB的工具,默认情况下,它使用较小的内存限制来处理导入操作。

1、安装

(1)进入mongodb 官网,找到 tools 里面的 MongoDB Database Tools

(2)下载的压缩文件夹下的 bin 目录的 exe后缀文件全选,复制到 MongoDB \ bin 目录下面

(3)重新打开一个cmd窗口,就可以根据语法使用了

2、语法:

(1)基本语法

mongoimport -d 数据库名称 -c 集合名称 --file 要导入的数据文件

当导入的数据文件较大时,可能会超出默认的内存限制,导致解析错误。

(2)大文件分批次语法

可以使用Mongoimport的**--batchSize**选项,将导入过程分成多个批次来处理,从而减少单个批次的内存使用量。通过调整每个批次的大小,您可以控制导入过程中的内存使用,并避免"文件过大"错误。

注:**batchSize****含义:**批大小,每个批次的文件数量

mongoimport --db 数据库名称**--collection** 集合名称 --file 要导入的数据文件 --batchSize 1000

3、可能出现的错误

(1)Failed: an inserted document is too large

问题:mongoimport 工具报错 "an inserted document is too large" 表示有单个文档的大小超过了 MongoDB 默认的文档大小限制(16MB)。这是因为 MongoDB 不允许插入超过 16MB 的单个文档。如果你的JSON文件中的某些文档本身就超过了16MB的限制,那么无论批次大小如何设置,这些文档都无法被导入。

解决方法:使用GridFS,没有文件限制

(2)Failed: can not decode array into a D

解决方法:把参数 --file改成--jsonArray 即可 如果JSON文件是一个大数组,包含多个对象,可以使用--jsonArray选项来告诉mongoimport整个文件被视为一个JSON数组。

三、MongoDB的GridFS

1、介绍

GridFS 用于存储和恢复那些超过16M(BSON文件限制)的文件(如:图片、音频、视频等)。

GridFS 也是文件存储的一种方式,但是它是存储在MonoDB的集合中。

GridFS 会将大文件对象分割成多个小的chunk(文件片段),一般为256k/个,每个chunk将作为MongoDB的一个文档(document)被存储在chunks集合中。

GridFS 用两个集合来存储一个文件:fs.files与fs.chunks每个文件的实际内容被存在chunks(二进制数据)中,和文件有关的meta数据(filename,content_type,还有用户自定义的属性)将会被存在files集合中。

2、语法

无需安装,MongoDB自带,在MongoDB/bin文件夹中。

mongofiles.exe -d 数据库名称 --prefix 集合名称 put 要导入的数据文件

相关推荐
A.说学逗唱的Coke4 分钟前
【数据库专题】ClickHouse 深度实战:从列式存储原理到 PB 级海量日志与可观测性分析
数据库·clickhouse·硬件架构
佳&弥22 分钟前
数据库提权
服务器·数据库·安全·web安全·网络安全
智购科技自动售货机工厂29 分钟前
2026自动售货机电机驱动芯片选型:从L298N到DRV8870的工程实践~YH
大数据·开发语言·数据库·人工智能·单片机·嵌入式硬件·scikit-learn
国科安芯38 分钟前
ASL3159S:把精密信号的“破音“挡在切换之外的 0.9Ω 开关
服务器·网络·数据库·架构·状态模式·抗辐射加固
克里斯蒂亚诺更新1 小时前
win下如何将redis自启动
数据库·redis·缓存
青禾8371 小时前
MySQL 数据库完全指南:DDL、DML、DCL 与用户权限管理
数据库·oracle
tachibana21 小时前
大语言模型基础
数据库·人工智能·语言模型·自然语言处理·大模型·llm
小王C语言1 小时前
MySQL 事务:事务自动提交、查看/修改事务隔离级别、读未提交(RU)、读提交(RC)、可重复读(RR)、串行化
数据库·mysql
yu俞娥宝1 小时前
AI Agent可观测性:破解多步推理黑盒
数据库
TDengine (老段)1 小时前
TDengine 应用案例 — IoT 设备监控
大数据·数据库·物联网·时序数据库·tdengine·涛思数据