Elasticsearch中任务管理怎么做?

一个ES集群研发在清理数据时使用了delete_by_query,导致集群性能严重受影响,影响了正常的业务。为了快速恢复集群正常状态,考虑把还在进行的delete_by_query任务清除掉。

先查看当前集群的任务

复制代码
GET _cat/tasks?v

发现delete_by_query的任务300多个,而且有的任务已经执行了20多分钟。 (当时图没截下来有点可惜)

确定要取消这些任务,因为比较紧,一着急反而采用了一个比较笨也比较慢的方法:

通过grep过滤出delete_by_query的任务,并获取taskid列表

复制代码
curl  localhost:9200/_cat/tasks?v | grep 'delete/byquery'  | awk '{print $2}'   > tasks.txt

根据获取的id列表,调api取消任务

复制代码
for i in `cat tasks.txt`
do
	  curl localhost:9200/_tasks/$i/_cancel
done

然后再查看task列表,发现所有delete_by_query的任务都被取消掉了。

上面这个过程哪里消耗时间了?

复制代码
1. 需要找到一个可以执行Shell 命令的机器,并且还能连到该ES集群,往往维护的集群与维护者本地网络是不通的,而ES提供的kibana又不能执行shell命令。这里可能会消耗一些时间。
1. 脚本需要现写,而且特别容易出错

综上,感觉ES本身不可能没有考虑到类似的批量取消功能,又返回去查了官方文档。于是上述过程可以优化成下面的过程:

查看要取消任务类型或关键字过滤任务:

复制代码
GET  _cat/tasks?v

从返回数据中提取要取消任务Action列的关键字

批量取消,根据action关键字

复制代码
POST _tasks/_cancel?actions=*byquery

这一条命令等同第一种方法中的shell脚本实现的内容,且可以直接在kibana执行,不需要shell环境。唯一欠缺可能就是无法根据id精准操作指定的任务。在关键字匹配范围内的任务都会被取消,使用的关键字一定要准确。

最后,遇到问题不确定是否有更好的解决方法,可以去看官方文档,可以解决90%的问题。

相关推荐
q***13341 小时前
Linux(CentOS)安装 Nginx
linux·nginx·centos
摘星编程1 小时前
openGauss 快速上手:CentOS 环境下单机部署完整指南
linux·运维·centos
哈里谢顿6 小时前
使用kvm创建一台虚拟机
linux
hanyi_qwe7 小时前
文本三剑客--awk
linux·运维·服务器
liu****8 小时前
27.epoll(三)
服务器·开发语言·网络·tcp/ip·udp
Caven778 小时前
【Linux 技巧】如何在登录时自动激活 Conda Base 环境
linux·运维·conda
凌寒118 小时前
Linux(Debian)安装、卸载 MySQL
linux·运维·mysql·debian
云飞云共享云桌面8 小时前
如何降低非标自动化工厂的研发软件采购成本
运维·服务器·网络·数据库·性能优化·自动化
IT小哥哥呀8 小时前
如何从 Windows SSH 进入 VirtualBox Ubuntu 虚拟机——密码认证(逐步指南)
linux·windows·ubuntu·ssh·教程·虚拟机
泰克教育官方账号8 小时前
泰涨知识 | 什么是自动化巡检?
运维·服务器·数据库