关于MongoDB大数据量下远程备份本地恢复操作

背景

• 需要将远程服务的MongoDB数据拷贝到本地环境
• 数据量很大，单表数据在100亿，占用硬盘存储空间270G左右
• 没有远程服务器的操作权限，但是可以连接远程mongo

备份操作

• 使用mongodump
• 远程服务和本地环境的MongoDB环境一致，或者本地环境的为高版本

./mongodump --uri="mongodb://user:passWord@host:port/database?ssl=false&authSource=admin" --out=/disk2/mongo/mongodbServer/dumpback --gzip -v

• 上面的命令 --uri 是连接url，--out是本地环境备份存储目录，--gzip是以压缩形式存储，-v 是展示备份详情，将远程对应database整个备份到本地dumpback文件下
• 大约耗时72小时

还原操作

• 由于数据量很大，所以直接还原会导致数据还原，索引创建失败, too many open file
• 优先在本地创建对应数据库及集合，然后按照远程环境下数据库索引详情，在本地优先创建对应数据库索引
• 再使用mongorestore

./mongorestore --host 127.0.0.1:33333  --username admin --password admin  --gzip /disk2/mongo/mongodbServer/dumpback -v

• 上面的命令 --host 是连接信息，--username是操作用户名，--password是操作密码，--gzip是以解压缩形式，-v 是展示还原详情，将dumpback文件下所有数据库集合还原到本地环境
• 当前使用用户名密码无鉴权，如果需要鉴权，则需要加上对应鉴权参数数据库

./mongorestore --host 127.0.0.1:33333  --username admin --password admin  --gzip /disk2/mongo/mongodbServer/dumpback/trail/car_trail.bson.gz -v

• 上面的命令将dumpback文件下所有car_trail集合还原到本地环境