Elasticsearch中任务管理怎么做?

一个ES集群研发在清理数据时使用了delete_by_query,导致集群性能严重受影响,影响了正常的业务。为了快速恢复集群正常状态,考虑把还在进行的delete_by_query任务清除掉。

先查看当前集群的任务

复制代码
GET _cat/tasks?v

发现delete_by_query的任务300多个,而且有的任务已经执行了20多分钟。 (当时图没截下来有点可惜)

确定要取消这些任务,因为比较紧,一着急反而采用了一个比较笨也比较慢的方法:

通过grep过滤出delete_by_query的任务,并获取taskid列表

复制代码
curl  localhost:9200/_cat/tasks?v | grep 'delete/byquery'  | awk '{print $2}'   > tasks.txt

根据获取的id列表,调api取消任务

复制代码
for i in `cat tasks.txt`
do
	  curl localhost:9200/_tasks/$i/_cancel
done

然后再查看task列表,发现所有delete_by_query的任务都被取消掉了。

上面这个过程哪里消耗时间了?

复制代码
1. 需要找到一个可以执行Shell 命令的机器,并且还能连到该ES集群,往往维护的集群与维护者本地网络是不通的,而ES提供的kibana又不能执行shell命令。这里可能会消耗一些时间。
1. 脚本需要现写,而且特别容易出错

综上,感觉ES本身不可能没有考虑到类似的批量取消功能,又返回去查了官方文档。于是上述过程可以优化成下面的过程:

查看要取消任务类型或关键字过滤任务:

复制代码
GET  _cat/tasks?v

从返回数据中提取要取消任务Action列的关键字

批量取消,根据action关键字

复制代码
POST _tasks/_cancel?actions=*byquery

这一条命令等同第一种方法中的shell脚本实现的内容,且可以直接在kibana执行,不需要shell环境。唯一欠缺可能就是无法根据id精准操作指定的任务。在关键字匹配范围内的任务都会被取消,使用的关键字一定要准确。

最后,遇到问题不确定是否有更好的解决方法,可以去看官方文档,可以解决90%的问题。

相关推荐
寂柒1 小时前
信号量——基于环形队列的生产消费模型
linux·ubuntu
一袋米扛几楼982 小时前
【密码学】CrypTool2 工具是什么?
服务器·网络·密码学
林姜泽樾5 小时前
Linux入门第十二章,创建用户、用户组、主组附加组等相关知识详解
linux·运维·服务器·centos
xiaokangzhe5 小时前
Linux系统安全
linux·运维·系统安全
feng一样的男子5 小时前
NFS 扩展属性 (xattr) 提示操作不支持解决方案
linux·go
南棱笑笑生6 小时前
20260310在瑞芯微原厂RK3576的Android14查看系统休眠时间
服务器·网络·数据库·rockchip
XDHCOM6 小时前
ORA-32152报错咋整啊,数据库操作遇到null number问题远程帮忙修复
服务器·数据库·oracle
Highcharts.js6 小时前
Highcharts React v4.2.1 正式发布:更自然的React开发体验,更清晰的数据处理
linux·运维·javascript·ubuntu·react.js·数据可视化·highcharts
c++之路7 小时前
Linux网络协议与编程基础:TCP/IP协议族全解析
linux·网络协议·tcp/ip
Charlie__ZS8 小时前
Ubuntu 22.04新建用户,并赋予管理权限
linux·os·ubuntn