mongodb聚合排序的一个巨坑

现象:

mongodb cpu动不动要100%,如下图

分析原因:

查看慢日志发现,很多条这样的查询,一直未执行行完成,占用大量的CPU

go 复制代码
[
 {
 $match: {
 "tags.taskId": "64dae0a9deb52d2f9a1bd71e",
 grnty: "minute",
 "tags.type": "task",
 "tags.taskRecordId":
 "64e5c004133738231bc36906",
 },
 },
 {
 $sort: {
 _id: -1,
 },
 },
 {
 $limit: 5,
 },
 {
 $unwind: "$ss",
 },
 {
 $group: {
 _id: "$ss.vs.inputQps",
 qps: {
 $avg: "$ss.vs.inputQps",
 },
 },
 },
]

查看程序里面有一段聚合的代码

go 复制代码
Criteria criteria = new Criteria();
tags.forEach((k,v)->{
    String format = String.format(TAG_FORMAT, k);
    criteria.and(format).is(v);
});
criteria.and(MeasurementEntity.FIELD_GRANULARITY).is(Granularity.GRANULARITY_MINUTE);
MatchOperation match = Aggregation.match(criteria);
SortOperation sort = Aggregation.sort(Sort.by(Sort.Direction.DESC, "_id"));
LimitOperation limit = Aggregation.limit(5);
UnwindOperation unwind = Aggregation.unwind("ss", false);
GroupOperation group = Aggregation.group().avg("ss.vs.inputQps").as("qps");
Aggregation aggregation = Aggregation.newAggregation(match, sort, limit, unwind, group);

看一下这个代码也没有多大问题,但是就是执行很慢很慢,于是我explain这条语句,发现是先执行全集合sort 然后再match的,理论上应该是先match,然后再执行针对查询的结果做sort的

已经使用了 match 和 sort 操作来筛选和排序文档。仍然对整个集合进行了排序?

这可能是由于 MongoDB 的查询优化器在执行查询时做出的决策。在 MongoDB 中,查询优化器会尝试根据查询计划和索引来优化查询性能。在某些情况下,优化器可能会选择在 match 操作之后对整个集合进行排序,而不仅仅是对 match 操作筛选出的文档进行排序。这可能是因为优化器认为在整个集合上进行排序的成本更低,或者由于其他优化策略。如果你希望只对 $match 操作筛选出的文档进行排序,可以尝试使用索引来优化查询。确保你的查询条件和排序字段都有适当的索引,这样可以帮助优化器做出更好的决策,以便只对筛选结果进行排序。

解决方案

在这种情况下,你可以尝试创建一个复合索引,包含筛选条件和排序字段。例如,你可以创建一个包含 "tags.taskId","grnty","tags.typ","tags.taskRecordId","_id" 字段的复合索引。这样,MongoDB 在执行查询时可以使用该索引来加速筛选和排序操作。

总结

为了只对筛选结果进行排序,你可以尝试以下步骤:

  1. 创建一个复合索引,包含筛选条件和排序字段。

  2. 确保查询条件和排序字段在索引中的顺序与聚合管道中的顺序一致。

  3. 使用 explain() 方法来查看查询的执行计划和索引使用情况,以便进行优化。

相关推荐
不辉放弃7 分钟前
kafka的消费者负载均衡机制
数据库·分布式·kafka·负载均衡
拉姆哥的小屋10 分钟前
用 Flask 打造宠物店线上平台:从 0 到 1 的全栈开发实践
数据库·oracle·flask
liliangcsdn38 分钟前
mac neo4j install & verifcation
数据库·neo4j
Cyanto1 小时前
MyBatis-Plus高效开发实战
java·开发语言·数据库
-XWB-2 小时前
【Oracle】套接字异常(SocketException)背后隐藏的Oracle问题:ORA-03137深度排查与解决之道
数据库·oracle
睿思达DBA_WGX2 小时前
由于主库切换归档路径导致的 Oracle DG 无法同步问题的解决过程
运维·数据库·oracle
!chen2 小时前
Oracle 19.20未知BUG导致oraagent进程内存泄漏
数据库·oracle·bug
DarkAthena3 小时前
【GaussDB】构建一个GaussDB的Docker镜像
数据库·docker·gaussdb
祁思妙想3 小时前
add新增管理员功能、BaseController类的简介--------示例OJ
数据库·windows
盖世英雄酱581364 小时前
加了锁,加了事务 还是重复报名❓
java·数据库·后端