elasticsearch CPU居高不下的问题排查

elasticsearch CPU居高不下的问题排查

问题发现

某天早上收到钉钉消息,ES集群CPU负载很高,赶快上控制台看了一下发现都飚到90多了,下面的图片是算的一段时间的平均值,所以显示CPU使用80左右,实际上很长一段时间都是90多了

问题排查

首先先看了一下查询写入的QPS,发现并没有特别高,接着看了一下那段时间的慢查询,因为是用的阿里云的ES服务,所以在控制台用下面的语句就能查询3s以上的慢查询了。查询后发现下面的has_child子文档查询很多,由此可以判断出应该是某个业务场景使用了大量的子文档查询。

vbnet 复制代码
search_time_ms: [3000.0 TO *]

问题解决

排查了一下业务代码,发现有一处使用多线程进行了子文档查询,查询的数据比较少的时候还能抗住,这也是当时测试能通过的原因。但是今天查询的数据量很大的时候就崩溃了,然后紧急修复了业务代码,去掉了多线程。

但是现在还有一个问题,怎么快速把ES的CPU降下去,减少对线上的影响? 了解得知,可以通过kill掉比较耗CPU的任务来实现,命令如下

查询对应的任务: actions=search是过滤出与索引搜索相关的任务

ini 复制代码
GET _tasks?detailed=true&actions=search

然后取消掉对应的任务就好了:

javascript 复制代码
POST _tasks/<task_id名>:<任务ID号>/_cancel

问题总结

个人认为,如果ES有相应的高性能计算节点,子文档查询可以使用,但是在集群性能不高的情况下,子文档查询还是尽量避免使用吧,因为这种子文档查询在大批量或者多线程的查询下很容易就会导致CPU飙升,这种的风险还是挺高的。除了子文档其实还有其他的解决方案,例如在数据层面进行处理,冗余相应的字段,也可以做到子文档的效果

相关推荐
muyun280010 小时前
Docker 下部署 Elasticsearch 8 并集成 Kibana 和 IK 分词器
elasticsearch·docker·容器
在未来等你17 小时前
Elasticsearch面试精讲 Day 17:查询性能调优实践
大数据·分布式·elasticsearch·搜索引擎·面试
在未来等你1 天前
Elasticsearch面试精讲 Day 18:内存管理与JVM调优
大数据·分布式·elasticsearch·搜索引擎·面试
Elasticsearch1 天前
在 Elastic Observability 中使用 Discover 的追踪获取更深入的应用洞察
elasticsearch
婲落ヽ紅顏誶1 天前
测试es向量检索
大数据·elasticsearch·搜索引擎
咖啡Beans1 天前
Docker安装ELK(Elasticsearch + Logstash + Kibana)
后端·elasticsearch·docker
一勺菠萝丶1 天前
Jenkins 构建 Node 项目报错解析与解决——pnpm lockfile 问题实战
elasticsearch·servlet·jenkins
小花鱼20252 天前
Elasticsearch (ES)相关
大数据·elasticsearch
阿里嘎多哈基米2 天前
ES——(三)DSL高级查询
elasticsearch·搜索引擎·全文检索·kibana·倒排索引
AAA修煤气灶刘哥2 天前
ES 高级玩法大揭秘:从算分骚操作到深度分页踩坑,后端 er 速进!
java·后端·elasticsearch