基于$indexStats 构建mongodb 所有集合的索引监控程序

使用mongodb时,为集合中经常查询的字段添加索引,能够提高查询效率,减少扫描数据次数,限制扫描数据量,减少排序时间和内存与CPU的消耗。但索引的更新会为数据的添加和更新带来额外的消耗。因此,需要定期检查索引的使用情况,删除无效索引。

本文基于indexStats 和 merge命令,简单实现了一个收集mongodb 所有集合索引使用统计信息的方法,方便查询mongodb 索引使用统计信息。

  • 使用 db.getCollectionNames()获取当前数据库的集合名称列表。

db.getCollectionNames() 返回当前数据库中所有集合和视图的名称数组。如果数据库开启了登录验证,返回用户有权限查看的集合和视图名称列表。

  • 通过$indexStats命令,查看集合统计信息。

$indexStats返回当前集合的索引统计信息。包括建立索引的字段,索引所在的主机名和端口,索引命中信息,分片名称,索引详细信息和索引当前的构建情况等。

  • 在aggregation 的最后一步,添加$merge,集中查询结果到数据表。

merge命令,用于aggregation pipeline的最后一步,将pipeline前面查询结果输出到一个集合。merge命令, 必须位于pipeline的最后一步。该命令,支持将查询结果输出到当前数据库,或者其他数据库。当输出的集合不存在时, merge命令会自动创建数据集。通过指定数据合成的字段和方法, merge 命令可以更新目标集合中具有相同字段数据,或覆盖已有的数据。

  • 查询集中后的索引统计数据集,获取无效索引信息。

按照上面4个描述的步骤,实现mongodb数据库索引使用统计信息和查询

javascript 复制代码
//查询当前数据库的集合名称列表
let collNameArray = db.getCollectionNames()

//就查询出的集合列表循环,查询出每个集合中索引统计信息
collNameArray.forEach((collName)=>{
    db.getCollection(collName)
    .aggregate([{
        $indexStats: {}
    }, {
        $addFields: {
            "_id" : {
                "coll_name": collName,
                "idx_name": "$name"
            }
        }
    }, {$merge: { into: {coll: "coll_index_stats" }, on: "_id",  whenMatched: "replace", whenNotMatched: "insert" }}])//将查询出的集合索引统计信息放入集合coll_index_stats.
})
//按照索引命中次数的倒序,查看索引列表
db.coll_index_stats.find().sort('-accesses.ops')

基于上面的程序,还可以添加定时器实现索引统计信息的定时收集。也可以使用现代化的前端技术,做一个更友好的页面,实时查看索引信息。

相关推荐
白远山25 分钟前
健身场馆无人自动化解决方案:从架构到落地实践
java·开发语言·数据库·数据挖掘·需求分析
虎虎(_ _)。゜zzZ31 分钟前
SQLAlchemy入门教程
数据库·后端·python·sql·ai·sqlalchemy
梦帮科技43 分钟前
RNS 代币架构:ERC20 五件套扩展与六钱包分配
人工智能·sql·区块链·database·合成复用原则·加密货币
Data_Journal1 小时前
如何将网页抓取用于机器学习
大数据·开发语言·数据库·python·scrapy
Lyra_Infra2 小时前
从 MySQL 到达梦:一次信创隔离环境里的数据库迁移踩坑实录
数据库·后端·mysql
数据工匠老o2 小时前
sysbench/TPC-C/自定义脚本:数据库压测工具对比与实战流程
数据库·测试
数安3000天2 小时前
数据分类分级产品有哪四类技术路线?
大数据·数据库
泡茶喝茶写代码2 小时前
量化数据开发实战系列(第 25 篇):基金基础接口实战:基金列表、ETF-LOF 分类、基金概况、净值数据
java·数据库·人工智能·python·mysql
张小姐的猫2 小时前
【AI大模型接入SDK】 —— 数据管理 & 与Session模块进行联动
数据结构·数据库·c++·人工智能·python·chatgpt
我是唐青枫3 小时前
MongoDB 从零到能用:文档、CRUD、聚合与 Node.js 实战
mongodb