K8S部署的ELK分片问题解决,报错:unexpected error while indexing monitoring document

背景

一开始是Kibana的展示web上看不见收集的日志,看下ES的pod日志报错unexpected error while indexing monitoring document,经过排查是磁盘满了。

接着就是这段故事:K8S的StorageClass使用节点本地LVM逻辑卷怎么进行PVC扩容

扩容完成后,来看看ES回复正常了吗

处理过程

磁盘扩容完毕,接着看下ES的日志,得又是全报错,原本还以为能自动恢复

在ELK,当 Elasticsearch 集群磁盘空间不足(或触发其他保护条件)时,会自动为所有索引添加 index.blocks.read_only_allow_delete: true 的设置。

此时集群只能读取或删除数据,无法执行写入操作(如创建索引、写入文档、更新映射等)。

这个配置既然不能自动恢复,那就通过修改配置手动恢复下吧。

先看下配置

shell 复制代码
curl -u 用户名:密码 -X GET "http://ES的IP:端口/_all/_settings?pretty"

果然有index.blocks.read_only_allow_delete: true

处理可以直接在Kibana上的开发工具终端执行

shell 复制代码
PUT _all/_settings
{
  "index.blocks.read_only_allow_delete": null
}

调用api的方式也可

shell 复制代码
curl -u "username:password" -X PUT "http://<es-host>:9200/_all/_settings" \
  -H "Content-Type: application/json" \
  -d '{
    "index.blocks.read_only_allow_delete": null
  }'

执行完成后,重新看下block还在不在

shell 复制代码
curl -u 用户名:密码 -X GET "http://ES的IP:端口/_all/_settings?pretty"

blocks字段没了,完成修改。

到Kibana上看下日志是否有数据,验证完成。

不生效情况

如果执行api或者在界面上执行修改状态后,也没有报错和回显,但是验证的时候还是没更改,那就是状态未生效,考虑程序执行卡顿或者写入问题等其他情况,我其实过程中就遇见这种问题,解决方法也简单,重新下es即可。

shell 复制代码
kubectl rollout restart statefulset elasticsearch-master -n logging

重启完成后重新执行流程完成报错处理

相关推荐
努力向前的JF(s1hjf)1 天前
雷达点云数据展示在webviz(ROS1)
云原生·eureka
huangyuchi.1 天前
【Linux网络】初识网络,网络的基础概念
运维·服务器·ip地址·tcp/ip协议·linux网络·mac地址·网络传输流程
恋上钢琴的虫1 天前
使用 Loki + Promtail + Grafana搭建日志系统
运维·grafana
wanhengidc1 天前
如何使用云手机进行游戏挂机?
运维·服务器·游戏·智能手机·云计算
wangjialelele1 天前
端口号、常见协议和套接字
linux·运维·服务器·c语言·网络
木易 士心1 天前
Nginx 基本使用和高级用法详解
运维·javascript·nginx
蜜蜜不吃糖1 天前
ESXI主机重置带外密码
linux·运维·服务器
智象科技1 天前
CMDB报表体系如何驱动智能运维
大数据·运维·报表·一体化运维·cmdb
高光视点1 天前
伊萨推出升级版SUPRAREX™ PRO自动化切割设备:更大尺寸、更强结构、更高安全性、更易维护
运维·自动化
b***25111 天前
深圳比斯特自动化|圆柱电池测试设备核心功能与技术发展解析
运维·自动化