ES 磁盘使用率检查及处理方法

文章目录

    • [1. 检查原因](#1. 检查原因)
    • [2. 检查方法](#2. 检查方法)
    • [3. 处理方法](#3. 处理方法)
      • [3.1 清理数据](#3.1 清理数据)
      • [3.2 再次检查磁盘使用率](#3.2 再次检查磁盘使用率)

1. 检查原因

磁盘使用率在 85%以下,ES 可正常运行,达到 85%及以上会影响 PEIM 数据存储。

在 ES 磁盘分配分片控制策略中,为了保护数据节点的安全,ES 对磁盘进行了限额,并

会定时检查各节点数据目录的使用情况。在达到 85%时,新索引分片就不会分配到这个节点

上了。在达到 90%时,就会触发该节点现存分片的数据均衡,把数据挪到其他节点上去。通

过 shell 客户端执行 df -h ,查询到 es 集群所在的路径 /home/的磁盘使用率 Use%值为 86%,

超过了最低值 85%,导致重启后,副本索引分片不会分配到 es 集群中的节点上

2. 检查方法

检查系统磁盘情况,命令如下

df -h

3. 处理方法

如果磁盘使用率达到 70%时,强烈建议降低磁盘使用率。

方法有两种:1、清理数据;2、扩大磁盘,建议联系用户处理

3.1 清理数据

bash 复制代码
◆ 删除临时索引方法(修改 IP,改成 es 集群其中一个节点地址)
curl -v -X DELETE http://IP:9200/bulk_peim_mete_data_*
◆ 删除 es 历史数据数据方法(此命令是采用通配符进行删除,比较重要,谨慎执行)
红色部分是日期通配符,根据前缀删除该年、该月数据
curl -v -X DELETE http://IP:9200/yidong_telemeterdata-202001* (删除 2020 年 1 月数据)
curl -v -X DELETE http://IP:9200/yidong_telemeterdata-2020* (删除 2020 年数据)
◆ 检查索引是否删除
curl http://IP:9200/_cat/indices?v |grep 2020 (查看 2020 年索引)
curl http://IP:9200/_cat/indices?v |grep 202001 (查看 2020 年 1 月份索引)

删除或移出目录其他非重要文件

3.2 再次检查磁盘使用率

参考第 2 节(检查 ES 磁盘)

相关推荐
大数据CLUB2 小时前
基于spark的澳洲光伏发电站选址预测
大数据·hadoop·分布式·数据分析·spark·数据开发
ratbag6720133 小时前
当环保遇上大数据:生态环境大数据技术专业的课程侧重哪些领域?
大数据
计算机编程小央姐4 小时前
跟上大数据时代步伐:食物营养数据可视化分析系统技术前沿解析
大数据·hadoop·信息可视化·spark·django·课程设计·食物
智数研析社5 小时前
9120 部 TMDb 高分电影数据集 | 7 列全维度指标 (评分 / 热度 / 剧情)+API 权威源 | 电影趋势分析 / 推荐系统 / NLP 建模用
大数据·人工智能·python·深度学习·数据分析·数据集·数据清洗
潘达斯奈基~5 小时前
《大数据之路1》笔记2:数据模型
大数据·笔记
寻星探路6 小时前
数据库造神计划第六天---增删改查(CRUD)(2)
java·大数据·数据库
翰林小院7 小时前
【大数据专栏】流式处理框架-Apache Fink
大数据·flink
孟意昶8 小时前
Spark专题-第一部分:Spark 核心概述(2)-Spark 应用核心组件剖析
大数据·spark·big data
一路向北North8 小时前
lucene渲染未命中最匹配的关键词和内容
搜索引擎·全文检索·lucene
IT学长编程9 小时前
计算机毕业设计 基于Hadoop的健康饮食推荐系统的设计与实现 Java 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
java·大数据·hadoop·毕业设计·课程设计·推荐算法·毕业论文