关于MongoDB大数据量下远程备份本地恢复操作

背景

  • 需要将远程服务的MongoDB数据拷贝到本地环境
  • 数据量很大,单表数据在100亿,占用硬盘存储空间270G左右
  • 没有远程服务器的操作权限,但是可以连接远程mongo

备份操作

  • 使用mongodump
  • 远程服务和本地环境的MongoDB环境一致,或者本地环境的为高版本
bash 复制代码
./mongodump --uri="mongodb://user:passWord@host:port/database?ssl=false&authSource=admin" --out=/disk2/mongo/mongodbServer/dumpback --gzip -v
  • 上面的命令 --uri 是连接url,--out是本地环境备份存储目录,--gzip是以压缩形式存储,-v 是展示备份详情,将远程对应database整个备份到本地dumpback文件下
  • 大约耗时72小时

还原操作

  • 由于数据量很大,所以直接还原会导致数据还原,索引创建失败, too many open file
  • 优先在本地创建对应数据库及集合,然后按照远程环境下数据库索引详情,在本地优先创建对应数据库索引
  • 再使用mongorestore
bash 复制代码
./mongorestore --host 127.0.0.1:33333  --username admin --password admin  --gzip /disk2/mongo/mongodbServer/dumpback -v
  • 上面的命令 --host 是连接信息,--username是操作用户名,--password是操作密码,--gzip是以解压缩形式,-v 是展示还原详情,将dumpback文件下所有数据库集合还原到本地环境
  • 当前使用用户名密码无鉴权,如果需要鉴权,则需要加上对应鉴权参数数据库
bash 复制代码
./mongorestore --host 127.0.0.1:33333  --username admin --password admin  --gzip /disk2/mongo/mongodbServer/dumpback/trail/car_trail.bson.gz -v
  • 上面的命令将dumpback文件下所有car_trail集合还原到本地环境
相关推荐
花菜会噎住3 分钟前
Django视图与路由全解析:从URL到页面,一篇讲透
数据库·django·sqlite·函数
-雷阵雨-26 分钟前
MySQL——数据库约束
数据库·mysql
大筒木老辈子26 分钟前
MySQL笔记---C/C++访问MySQL数据库
数据库·笔记·mysql
友友马30 分钟前
『 数据库 』MySQL复习(表的约束)
数据库·mysql
奥尔特星云大使1 小时前
MySQL分布式架构:MyCat详解
数据库·分布式·mysql·mycat·高可用
SelectDB技术团队1 小时前
Apache Doris 内部数据裁剪与过滤机制的实现原理 | Deep Dive
大数据·数据库·apache·数据库系统·数据裁剪
像风一样!1 小时前
学习MySQL数据库的高级特性(上)
数据库·mysql
夜泉_ly2 小时前
Redis -持久化
数据库·redis·缓存
2401_837088503 小时前
什么是NoSQL?
数据库·nosql
点灯小铭3 小时前
基于单片机的智能洗碗机设计
单片机·嵌入式硬件·mongodb·毕业设计·课程设计