Author:skate
Time:2023/10/22
一、问题描述
产线用户反馈，一个华为云的mongo实例磁盘空间告警，使用率超过90%（使用状况 1630.9/1800GB），让其通过数据库运维平台找到占用大空间的表，然后清理历史数据；用户清理数据后，发现使用的磁盘空间没有减少
二、问题分析
华为云mongo实例信息：
配置：| 2 vCPUs | 4GB
版本：4.0
存储引擎：WiredTiger
磁盘使用率：90.61%(使用状况 1630.9/1800 GB)
查看占用磁盘空间大的表
通过数据库运维平台查看如上三个表占用磁盘空间最大，而且数据逻辑大小远远小于数据占用的存储空间，说明数据清理产生了有大量的碎片；一般来说磁盘碎片会被数据库继续使用，当有新数据插入时，会重复利用这些碎片。
但是我们目前碎片占用空间太大，需要回收下
三、解决方案
可以通过如下命令回收集合的的磁盘碎片
db.runCommand({compact:"<collection_name>",force:true})
因为MongoDB 4.4及之前的版本执行compact命令会导致集合所属的数据库被锁定，且该数据库的读写操作将被阻塞，建议在业务低峰期操作，操作的步骤如下
1、先在备库执行compact命令
db.runCommand({compact:"<collection_name>"})
2、然后主备切换
3、在新的备库执行compact命令
db.runCommand({compact:"<collection_name>"})
A.阿里云的mongo实例说明
阿里云的mongo实例，如果需要compact，需要我们自己按如上步骤手工操作
B.华为云的mongo实例特殊说明：
默认华为云的mongo实例的管理员用户rwuser默认是没有执行compact权限的，如果需要执行这个命令，联系华为云工程师，让华为云工程师帮其在后台执行（或者升级mongo实例的小版本，向华为云申请开通compact命令权限），这个compact命令是低频的，目前命令提供给华为云执行即可。
RocksDB在删除数据后，将删除操作直接转化为追加写，在积攒了一定数据量的冗余数据后，会自动触发后台compact线程对同一数据的多版本进行归并聚合，从而释放多余的磁盘空间，因此建议等待系统自动回收。当磁盘空间使用率较高，接近只读状态阈值时，手工操作回收
WiredTiger在删除数据，进行数据多版本归并聚合后，也会空余出磁盘空间碎片，但wiredTiger并不会将这部分磁盘空间返还给操作系统，而是打上标记预留给当前collection后续的写入，此collection后续的写入会优先使用这部分预留的磁盘空间，如果需要释放这部分磁盘空间，可以尝试通过执行compact命令进行释放（注：此命令会阻塞正常业务）。
具体操作步骤：
1、通过数据库运维平台查看哪些集合占用磁盘空间大、碎片率高，碎片率超过50%就要注意了
2、在备库执行集合压缩命令（降低对主库的写操作的阻塞，在业务低峰期操作）
use tbm
db.runCommand({compact:"zjthStdTag"}) //耗时：424.702s (7.08min)
db.runCommand({compact:"ztzbStdTag"}) //耗时：379.738s (6.33min)
db.runCommand({compact:"hrkStdTag"}) //耗时：46.857s
3、主备库倒换
4、在新备库执行集合压缩命令
use tbm
db.runCommand({compact:"zjthStdTag"})
db.runCommand({compact:"ztzbStdTag"})
db.runCommand({compact:"hrkStdTag"})
把2-4步骤发给华为云工程师，让其在后台执行帮手工回收集合磁盘空间
四、结果收益
经过compact后，磁盘利用率从90%降低到25%，磁盘空间回收了1180G
---end---