关于MongoDB大数据量下远程备份本地恢复操作

背景

  • 需要将远程服务的MongoDB数据拷贝到本地环境
  • 数据量很大,单表数据在100亿,占用硬盘存储空间270G左右
  • 没有远程服务器的操作权限,但是可以连接远程mongo

备份操作

  • 使用mongodump
  • 远程服务和本地环境的MongoDB环境一致,或者本地环境的为高版本
bash 复制代码
./mongodump --uri="mongodb://user:passWord@host:port/database?ssl=false&authSource=admin" --out=/disk2/mongo/mongodbServer/dumpback --gzip -v
  • 上面的命令 --uri 是连接url,--out是本地环境备份存储目录,--gzip是以压缩形式存储,-v 是展示备份详情,将远程对应database整个备份到本地dumpback文件下
  • 大约耗时72小时

还原操作

  • 由于数据量很大,所以直接还原会导致数据还原,索引创建失败, too many open file
  • 优先在本地创建对应数据库及集合,然后按照远程环境下数据库索引详情,在本地优先创建对应数据库索引
  • 再使用mongorestore
bash 复制代码
./mongorestore --host 127.0.0.1:33333  --username admin --password admin  --gzip /disk2/mongo/mongodbServer/dumpback -v
  • 上面的命令 --host 是连接信息,--username是操作用户名,--password是操作密码,--gzip是以解压缩形式,-v 是展示还原详情,将dumpback文件下所有数据库集合还原到本地环境
  • 当前使用用户名密码无鉴权,如果需要鉴权,则需要加上对应鉴权参数数据库
bash 复制代码
./mongorestore --host 127.0.0.1:33333  --username admin --password admin  --gzip /disk2/mongo/mongodbServer/dumpback/trail/car_trail.bson.gz -v
  • 上面的命令将dumpback文件下所有car_trail集合还原到本地环境
相关推荐
三三木木七8 分钟前
mysql拒绝连接
数据库·mysql
蹦跶的小羊羔8 分钟前
sql数据库语法
数据库·sql
唐古乌梁海14 分钟前
【mysql】InnoDB的聚簇索引和非聚簇索引工作原理
数据库·mysql
我变秃了也没变强14 分钟前
pgsql配置密码复杂度策略
数据库·postgresql
PawSQL15 分钟前
企业级SQL审核工具PawSQL介绍(1) - 六大核心能力
数据库·sql·oracle
幼稚园的山代王15 分钟前
NoSQL介绍
数据库·nosql
猫林老师25 分钟前
HarmonyOS线程模型与性能优化实战
数据库·分布式·harmonyos
沃达德软件26 分钟前
视频图像数据库基础服务
数据库·图像处理·人工智能·计算机视觉·视觉检测
派可数据BI可视化1 小时前
商业智能BI 浅谈数据孤岛和数据分析的发展
大数据·数据库·数据仓库·信息可视化·数据挖掘·数据分析
yong99901 小时前
C#驱动斑马打印机实现包装自动打印
java·数据库·c#