大数据之LibrA数据库系统告警处理(ALM-12017 磁盘容量不足)

告警解释

系统每30秒周期性检测磁盘使用率,并把磁盘使用率和阈值相比较。磁盘使用率有一个默认阈值,当检测到磁盘使用率超过阈值时产生该告警。

平滑次数为1,主机磁盘某一分区使用率小于或等于阈值时,告警恢复;平滑次数大于1,主机磁盘某一分区使用率小于或等于阈值的90%时,告警恢复。

告警属性
告警ID 告警级别 可自动清除
12017 严重
告警参数
参数名称 参数含义
ServiceName 产生告警的服务名称。
RoleName 产生告警的角色名称。
HostName 产生告警的主机名。
PartitionName 产生告警的磁盘分区。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
对系统的影响

业务进程不可用。

可能原因
  • 告警阈值配置不合理。
  • 磁盘配置无法满足业务需求,磁盘使用率达到上限。
处理步骤

检查阈值设置是否合理。

  1. 登录FusionInsight Manager,查看该告警阈值是否不合理(默认90%为合理值,用户可以根据自己的实际需求调节)。

    • 是,执行[步骤 2](#步骤 2)。
    • 否,执行[步骤 4](#步骤 4)。
  2. 根据实际服务的使用情况在"系统设置 > 阈值配置 > 设备 > 主机 > 磁盘 > 磁盘使用率 > 磁盘使用率"中更改告警阈值。

    图1所示

    图1设置告警阈值

  3. 等待2分钟,查看告警是否消失。

    • 是,处理完毕。
    • 否,执行[步骤 4](#步骤 4)。

检查磁盘使用率是否达到上限

  1. 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行,在告警详情中,查看该告警的主机名称和磁盘分区信息。

  2. 使用PuTTY工具,以root用户登录告警所在节点。

  3. 执行df -h 命令,查看系统磁盘分区的使用信息。并通过[步骤 4](#步骤 4)中获取到的磁盘分区名称,查看该磁盘是否挂载在如下几个目录下:"/"、"/boot"、"/home"、"/opt"、"/tmp"、"/var"、"/var/log"、"/boot"、"/srv/BigData"(可自定义)。

    • 是,说明该磁盘为系统盘,执行[步骤 10](#步骤 10)。
    • 否,说明该磁盘为非系统盘,执行[步骤 7](#步骤 7)。
  4. 执行df -h 命令,查看系统磁盘分区的使用信息。并通过[步骤 4](#步骤 4)中获取到的磁盘分区名称,判断该磁盘属于哪一个角色。

  5. 磁盘所属服务:

    • FusionInsight HD,是否为HDFS、Yarn、Solr、Kafka、Supervisor或者Redis其中之一。
      • 是,参考《FusionInsight HD 容量调整指导书》进行容量调整。执行[步骤 3](#步骤 3)
      • 否,执行[步骤 12](#步骤 12)。
    • FusionInsight LibrA,是否为MPPDB。
      • 是,参考《FusionInsight LibrA 容量调整指导书》进行容量调整。执行[步骤 3](#步骤 3)。
      • 否,执行[步骤 12](#步骤 12)。
  6. 等待2分钟,查看告警是否消失。

    • 是,处理完毕。
    • 否,执行[步骤 12](#步骤 12)。
  7. 执行命令find / -xdev -size +500M -exec ls -l {} \; ,查看该节点上超过500MB的文件,查看该磁盘中,是否有误写入的大文件存在。

    • 是,执行[步骤 11](#步骤 11)。
    • 否,执行[步骤 12](#步骤 12)。
  8. 处理该误写入的文件,并等待2分钟,查看告警是否清除。

    • 是,执行完毕。
    • 否,执行[步骤 12](#步骤 12)。
  9. 联系系统管理员,对磁盘进行扩容。

  10. 等待2分钟,查看告警是否消失。

    • 是,处理完毕。
    • 否,执行[步骤 14](#步骤 14)。

收集故障信息。

  1. 在FusionInsight Manager界面,单击"系统设置 > 日志下载"。
  2. 在"服务"下拉框中勾选"Manager",单击"确定"。
  3. 设置日志收集的"开始时间"和"结束时间"分别为告警产生时间的前后10分钟,单击"下载"。
相关推荐
越来越无动于衷27 分钟前
基于 JWT 的登录验证功能实现详解
java·数据库·spring boot·mysql·mybatis
看天走路吃雪糕30 分钟前
墨者:SQL手工注入漏洞测试(MySQL数据库-字符型)
数据库·mysql·sql注入·sqlmap·墨者学院·字符型注入
CCF_NOI.31 分钟前
谷歌浏览器深入用法全解析:解锁高效网络之旅
大数据·运维·服务器·前端·计算机·谷歌
练习两年半的工程师3 小时前
金融科技中的跨境支付、Open API、数字产品服务开发、变革管理
大数据·科技·金融
飛_4 小时前
解决VSCode无法加载Json架构问题
java·服务器·前端
柊二三5 小时前
XML的简略知识点
xml·数据库·oracle
木棉软糖7 小时前
一个MySQL的数据表最多能够存多少的数据?
java
程序视点7 小时前
Java BigDecimal详解:小数精确计算、使用方法与常见问题解决方案
java·后端
愿你天黑有灯下雨有伞7 小时前
Spring Boot SSE实战:SseEmitter实现多客户端事件广播与心跳保活
java·spring boot·spring
每天敲200行代码7 小时前
MySQL 事务管理
数据库·mysql·事务