K8S部署的ELK分片问题解决，报错：unexpected error while indexing monitoring document

背景

一开始是Kibana的展示web上看不见收集的日志，看下ES的pod日志报错unexpected error while indexing monitoring document，经过排查是磁盘满了。

接着就是这段故事：K8S的StorageClass使用节点本地LVM逻辑卷怎么进行PVC扩容

扩容完成后，来看看ES回复正常了吗

处理过程

磁盘扩容完毕，接着看下ES的日志，得又是全报错，原本还以为能自动恢复

在ELK，当 Elasticsearch 集群磁盘空间不足（或触发其他保护条件）时，会自动为所有索引添加 index.blocks.read_only_allow_delete: true 的设置。

此时集群只能读取或删除数据，无法执行写入操作（如创建索引、写入文档、更新映射等）。

这个配置既然不能自动恢复，那就通过修改配置手动恢复下吧。

先看下配置

shell 复制代码

curl -u 用户名:密码 -X GET "http://ES的IP:端口/_all/_settings?pretty"

果然有index.blocks.read_only_allow_delete: true

处理可以直接在Kibana上的开发工具终端执行

shell 复制代码

PUT _all/_settings
{
  "index.blocks.read_only_allow_delete": null
}

调用api的方式也可

shell 复制代码

curl -u "username:password" -X PUT "http://<es-host>:9200/_all/_settings" \
  -H "Content-Type: application/json" \
  -d '{
    "index.blocks.read_only_allow_delete": null
  }'

执行完成后，重新看下block还在不在

shell 复制代码

curl -u 用户名:密码 -X GET "http://ES的IP:端口/_all/_settings?pretty"

blocks字段没了，完成修改。

到Kibana上看下日志是否有数据，验证完成。

不生效情况

如果执行api或者在界面上执行修改状态后，也没有报错和回显，但是验证的时候还是没更改，那就是状态未生效，考虑程序执行卡顿或者写入问题等其他情况，我其实过程中就遇见这种问题，解决方法也简单，重新下es即可。

shell 复制代码

kubectl rollout restart statefulset elasticsearch-master -n logging

重启完成后重新执行流程完成报错处理