大数据之LibrA数据库系统告警处理(ALM-12028 主机D状态进程数超过阈值)

告警解释

系统每30秒周期性检测主机中omm用户D状态进程数,并把实际进程数和阈值相比较。主机D状态进程数默认提供一个阈值范围。当检测到进程数超出阈值范围时产生该告警。

平滑次数为1,主机中omm用户D状态进程数小于或等于阈值时,告警恢复;平滑次数大于1,主机中omm用户D状态进程数小于或等于阈值的90%时,告警恢复。

告警属性
告警ID 告警级别 可自动清除
12028 严重
告警参数
参数名称 参数含义
ServiceName 产生告警的服务名称。
RoleName 产生告警的角色名称。
HostName 产生告警的主机名。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
对系统的影响

占用系统资源,业务进程响应变慢。

可能原因

主机中正在等待的IO(磁盘IO、网络IO等)在较长时间内未得到响应,进程处于D状态。

处理步骤

查看D状态进程。

  1. 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行,在告警详情中,查看该告警的主机地址。

  2. 使用PuTTY工具登录产生告警主机,执行su - omm 命令,切换到omm用户。

  3. 执行如下命令查看omm用户D状态进程号。

    ps -elf | grep -v "\thread_checkio\\" | awk 'NR!=1 {print 2, 3, 4}' \| grep omm \| awk -F' ' '{print 1, 3}' \| grep D \| awk '{print 2}'

  4. 查看结果是否为空。

    • 是,业务进程正常,执行[步骤 6](#步骤 6)。
    • 否,执行[步骤 5](#步骤 5)。
  5. 切换到root 用户,执行reboot命令,重启产生告警主机(重启主机有风险,请确保重启后业务进程正常)。

  6. 等待5分钟,检查该告警是否恢复。

    • 是,处理完毕。
    • 否,执行[步骤 7](#步骤 7)。

收集故障信息。

  1. 在FusionInsight Manager界面,单击"系统设置 > 日志下载"。
  2. 在"服务"下拉框中勾选"Manager",单击"确定"。
  3. 设置日志收集的"开始时间"和"结束时间"分别为告警产生时间的前后1小时,单击"下载"。
相关推荐
2603_965148112 小时前
家居百货蓝海:API挖掘高复购率生活小商品
大数据·服务器·人工智能·python·生活
CoreTK_EMC4 小时前
机器人信号线缆屏蔽:解决伺服干扰、通讯异常的工程落地思路
网络·机器人·芯通康·机器人信号线缆屏蔽·工业机器人线缆 emc·机器人接地屏蔽·ethercat 通讯干扰
cui_ruicheng5 小时前
LangChain 应用开发(十四):Agent 上下文与记忆机制
服务器·人工智能·python·langchain
张宇Joaquin6 小时前
鲲鹏统一并行加速库KUPL--众核并行能力介绍
java·开发语言·网络
倔强的石头_6 小时前
连接数失控排查:从数据库会话、应用线程池到连接池泄漏
数据库
hzxpaipai7 小时前
企业官网技术架构拆解:前端、后台、数据库、服务器如何协同
前端·数据库·架构
爱吃火鸡面呀8 小时前
MySQL DQL 子查询详解:从标量、列、行到表子查询的完整实战
大数据·数据库·mysql
harmony&8 小时前
OpenStack 云平台管理实战:从 Keystone 认证到 Nova 计算调度
数据库·openstack
Brilliantwxx9 小时前
【Linux】 进程(10) 进程控制深度解析:创建、终止与等待
linux·运维·服务器·c语言·开发语言·网络
betazhou9 小时前
Apache Seatunnel 抽取Oracle数据库测试
数据库·oracle·apache·seatunnel