K8S部署的ELK分片问题解决,报错:unexpected error while indexing monitoring document

背景

一开始是Kibana的展示web上看不见收集的日志,看下ES的pod日志报错unexpected error while indexing monitoring document,经过排查是磁盘满了。

接着就是这段故事:K8S的StorageClass使用节点本地LVM逻辑卷怎么进行PVC扩容

扩容完成后,来看看ES回复正常了吗

处理过程

磁盘扩容完毕,接着看下ES的日志,得又是全报错,原本还以为能自动恢复

在ELK,当 Elasticsearch 集群磁盘空间不足(或触发其他保护条件)时,会自动为所有索引添加 index.blocks.read_only_allow_delete: true 的设置。

此时集群只能读取或删除数据,无法执行写入操作(如创建索引、写入文档、更新映射等)。

这个配置既然不能自动恢复,那就通过修改配置手动恢复下吧。

先看下配置

shell 复制代码
curl -u 用户名:密码 -X GET "http://ES的IP:端口/_all/_settings?pretty"

果然有index.blocks.read_only_allow_delete: true

处理可以直接在Kibana上的开发工具终端执行

shell 复制代码
PUT _all/_settings
{
  "index.blocks.read_only_allow_delete": null
}

调用api的方式也可

shell 复制代码
curl -u "username:password" -X PUT "http://<es-host>:9200/_all/_settings" \
  -H "Content-Type: application/json" \
  -d '{
    "index.blocks.read_only_allow_delete": null
  }'

执行完成后,重新看下block还在不在

shell 复制代码
curl -u 用户名:密码 -X GET "http://ES的IP:端口/_all/_settings?pretty"

blocks字段没了,完成修改。

到Kibana上看下日志是否有数据,验证完成。

不生效情况

如果执行api或者在界面上执行修改状态后,也没有报错和回显,但是验证的时候还是没更改,那就是状态未生效,考虑程序执行卡顿或者写入问题等其他情况,我其实过程中就遇见这种问题,解决方法也简单,重新下es即可。

shell 复制代码
kubectl rollout restart statefulset elasticsearch-master -n logging

重启完成后重新执行流程完成报错处理

相关推荐
风清再凯1 小时前
01-ELK安装ES,ES-head
大数据·elk·elasticsearch
Lacrimosa&L2 小时前
操作系统概述
运维
Guheyunyi2 小时前
风险感知中枢:监测预警系统的架构与核心
大数据·运维·安全·重构·架构·自动化
东城绝神2 小时前
《Linux运维总结:基于X86_64+ARM64架构CPU使用docker-compose一键离线部署consul 1.21.5容器版集群》
linux·运维·docker·架构·consul
wheeldown2 小时前
【Linux】Linux进程间通信:命名管道(FIFO)的模拟实现重要知识点梳理
linux·运维·服务器
Crazy________2 小时前
34部署LNMP架构详细解析
linux·运维·服务器·nginx
刺客xs3 小时前
linux GDB调试器
linux·运维·windows
板鸭〈小号〉4 小时前
connect 的断线重连
运维·服务器
黄昏晓x5 小时前
Linux----权限
linux·运维·服务器