关于MongoDB大数据量下远程备份本地恢复操作

背景

  • 需要将远程服务的MongoDB数据拷贝到本地环境
  • 数据量很大,单表数据在100亿,占用硬盘存储空间270G左右
  • 没有远程服务器的操作权限,但是可以连接远程mongo

备份操作

  • 使用mongodump
  • 远程服务和本地环境的MongoDB环境一致,或者本地环境的为高版本
bash 复制代码
./mongodump --uri="mongodb://user:passWord@host:port/database?ssl=false&authSource=admin" --out=/disk2/mongo/mongodbServer/dumpback --gzip -v
  • 上面的命令 --uri 是连接url,--out是本地环境备份存储目录,--gzip是以压缩形式存储,-v 是展示备份详情,将远程对应database整个备份到本地dumpback文件下
  • 大约耗时72小时

还原操作

  • 由于数据量很大,所以直接还原会导致数据还原,索引创建失败, too many open file
  • 优先在本地创建对应数据库及集合,然后按照远程环境下数据库索引详情,在本地优先创建对应数据库索引
  • 再使用mongorestore
bash 复制代码
./mongorestore --host 127.0.0.1:33333  --username admin --password admin  --gzip /disk2/mongo/mongodbServer/dumpback -v
  • 上面的命令 --host 是连接信息,--username是操作用户名,--password是操作密码,--gzip是以解压缩形式,-v 是展示还原详情,将dumpback文件下所有数据库集合还原到本地环境
  • 当前使用用户名密码无鉴权,如果需要鉴权,则需要加上对应鉴权参数数据库
bash 复制代码
./mongorestore --host 127.0.0.1:33333  --username admin --password admin  --gzip /disk2/mongo/mongodbServer/dumpback/trail/car_trail.bson.gz -v
  • 上面的命令将dumpback文件下所有car_trail集合还原到本地环境
相关推荐
就是有点傻8 分钟前
C#如何实现中英文快速切换
数据库·c#
1024小神42 分钟前
hono框架绑定cloudflare的d1数据库操作步骤
数据库
KellenKellenHao2 小时前
MySQL数据库主从复制
数据库·mysql
@ chen3 小时前
Redis事务机制
数据库·redis
KaiwuDB3 小时前
使用Docker实现KWDB数据库的快速部署与配置
数据库·docker
一只fish3 小时前
MySQL 8.0 OCP 1Z0-908 题目解析(16)
数据库·mysql
泊浮目4 小时前
未来数据库硬件-网络篇
数据库·架构·云计算
静若繁花_jingjing4 小时前
Redis线程模型
java·数据库·redis
飞翔的佩奇6 小时前
Java项目:基于SSM框架实现的忘忧小区物业管理系统【ssm+B/S架构+源码+数据库+毕业论文+开题报告】
java·数据库·mysql·vue·毕业设计·ssm框架·小区物业管理系统
ZWZhangYu11 小时前
LangChain 构建向量数据库和检索器
数据库·langchain·easyui