关于MongoDB大数据量下远程备份本地恢复操作

背景

  • 需要将远程服务的MongoDB数据拷贝到本地环境
  • 数据量很大,单表数据在100亿,占用硬盘存储空间270G左右
  • 没有远程服务器的操作权限,但是可以连接远程mongo

备份操作

  • 使用mongodump
  • 远程服务和本地环境的MongoDB环境一致,或者本地环境的为高版本
bash 复制代码
./mongodump --uri="mongodb://user:passWord@host:port/database?ssl=false&authSource=admin" --out=/disk2/mongo/mongodbServer/dumpback --gzip -v
  • 上面的命令 --uri 是连接url,--out是本地环境备份存储目录,--gzip是以压缩形式存储,-v 是展示备份详情,将远程对应database整个备份到本地dumpback文件下
  • 大约耗时72小时

还原操作

  • 由于数据量很大,所以直接还原会导致数据还原,索引创建失败, too many open file
  • 优先在本地创建对应数据库及集合,然后按照远程环境下数据库索引详情,在本地优先创建对应数据库索引
  • 再使用mongorestore
bash 复制代码
./mongorestore --host 127.0.0.1:33333  --username admin --password admin  --gzip /disk2/mongo/mongodbServer/dumpback -v
  • 上面的命令 --host 是连接信息,--username是操作用户名,--password是操作密码,--gzip是以解压缩形式,-v 是展示还原详情,将dumpback文件下所有数据库集合还原到本地环境
  • 当前使用用户名密码无鉴权,如果需要鉴权,则需要加上对应鉴权参数数据库
bash 复制代码
./mongorestore --host 127.0.0.1:33333  --username admin --password admin  --gzip /disk2/mongo/mongodbServer/dumpback/trail/car_trail.bson.gz -v
  • 上面的命令将dumpback文件下所有car_trail集合还原到本地环境
相关推荐
骑着王八撵玉兔2 分钟前
【性能优化与架构调优(二)】高性能数据库设计与优化
数据库·性能优化·架构
想要入门的程序猿1 小时前
Qt写入excel
数据库·qt·excel
Q_970956391 小时前
java+vue+SpringBoo校园失物招领网站(程序+数据库+报告+部署教程+答辩指导)
java·数据库·vue.js
Wyc724092 小时前
Maven
java·数据库·maven
程序猿小D2 小时前
[附源码+数据库+毕业论文]基于Spring+MyBatis+MySQL+Maven+jsp实现的电影小说网站管理系统,推荐!
java·数据库·mysql·spring·毕业设计·ssm框架·电影小说网站
羊小猪~~2 小时前
数据库学习笔记(十七)--触发器的使用
数据库·人工智能·后端·sql·深度学习·mysql·考研
背太阳的牧羊人2 小时前
Neo4j 的向量搜索(Neo4jVector)和常见的向量数据库(比如 Milvus、Qdrant)之间的区别与联系
数据库·neo4j·milvus
liulun3 小时前
在浏览器中使用SQLite(官方sqlite3.wasm)
数据库·sqlite·wasm
IT项目管理4 小时前
达梦数据库DMHS介绍及安装部署
linux·数据库
你都会上树?4 小时前
MySQL MVCC 详解
数据库·mysql