大数据-之LibrA数据库系统告警处理(ALM-12052 TCP临时端口使用率超过阈值)

告警解释

系统每30秒周期性检测TCP临时端口使用率,并把实际使用率和阈值(系统默认阈值80%)进行比较,当检测到TCP临时端口使用率连续多次(默认值为5)超过阈值时产生该告警。

用户可通过"系统设置 > 阈值配置 > 主机 > 网络状态 > TCP临时端口使用率 > TCP临时端口使用率"修改阈值。

平滑次数为1,TCP临时端口使用率小于或等于阈值时,告警恢复;平滑次数大于1,TCP临时端口使用率小于或等于阈值的90%时,告警恢复。

告警属性
告警ID 告警级别 可自动清除
12052 严重
告警参数
参数名称 参数含义
ServiceName 产生告警的服务名称。
RoleName 产生告警的角色名称。
HostName 产生告警的主机名。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
对系统的影响

主机上业务无法发起对外建立连接,业务中断。

可能原因
  • 临时端口不满足当前业务需求。
  • 系统环境异常。
处理步骤

扩大临时端口范围。

  1. 打开FusionInsight Manager页面,在实时告警列表中,单击此告警。在"告警详情"区域,获取告警所在主机IP地址。

  2. 使用PuTTY工具,以omm用户登录告警所在主机。

  3. 执行cat /proc/sys/net/ipv4/ip_local_port_range |cut -f 1 命令,获得开始端口值,执行****cat /proc/sys/net/ipv4/ip_local_port_range** |cut -f 2**命令,获得结束端口值,相减得到临时端口总数,若临时端口总数小于28232,说明操作系统随机端口范围太小,需要联系系统管理员扩大端口范围。

  4. 执行命令ss -ant 2>/dev/null | grep -v LISTEN | awk 'NR > 2 {print $4}'|cut -d ':' -f 2 | awk '$1 >"开始端口值" {print $1}' | sort -u | wc -l,计算临时端口使用数。

  5. 使用公式计算临时端口使用率,临时端口使用率=(临时端口使用数/临时端口总数)*100,确认临时端口使用率是否超过阈值。

    • 是,执行[步骤 7](#步骤 7)。
    • 否,执行[步骤 6](#步骤 6)。
  6. 等待5分钟,检查该告警是否恢复。

    • 是,处理完毕。
    • 否,执行[步骤 7](#步骤 7)。

检查系统环境是否异常。

  1. 执行以下命令导入临时文件,并查看"port_result.txt"文件中高使用率端口。

    netstat -tnp > $BIGDATA_HOME/tmp/port_result.txt

    复制代码
    netstat -tnp 
    
    Active Internet connections (w/o servers)
    
    Proto Recv Send LocalAddress ForeignAddress State PID/ProgramName tcp   0   0 10-120-85-154:45433  10-120-8:25009 CLOSE_WAIT 94237/java 
    tcp   0   0 10-120-85-154:45434  10-120-8:25009 CLOSE_WAIT 94237/java 
    tcp   0   0 10-120-85-154:45435  10-120-8:25009 CLOSE_WAIT 94237/java 
    ...
  2. 执行如下命令,查看占用大量端口的进程。

    ps -ef |grep PID
    说明:

    • PID为[步骤 7](#步骤 7)查询出所属端口的进程号。
    • 可以执行如下命令,收集系统所有进程信息,查看占用大量端口的进程。 ps -ef > $BIGDATA_HOME/tmp/ps_result.txt
  3. 请系统管理员确认后,清除大量占用端口的进程,等待5分钟,检查该告警是否恢复。

    • 是,处理完毕。
    • 否,执行[步骤 10](#步骤 10)。

收集故障信息。

  1. 在主集群的FusionInsight Manager界面,单击"系统设置 > 日志下载"。
  2. 在"服务"下拉框中勾选"Manager",单击"确定"。
  3. 设置"主机"为告警所在节点和主OMS节点。
  4. 设置日志收集的"开始时间"和"结束时间"分别为告警产生时间的前后30分钟,单击"下载"。
相关推荐
月光水岸New17 分钟前
Ubuntu 中建的mysql数据库使用Navicat for MySQL连接不上
数据库·mysql·ubuntu
狄加山67518 分钟前
数据库基础1
数据库
我爱松子鱼21 分钟前
mysql之规则优化器RBO
数据库·mysql
chengooooooo1 小时前
苍穹外卖day8 地址上传 用户下单 订单支付
java·服务器·数据库
Rverdoser2 小时前
【SQL】多表查询案例
数据库·sql
Galeoto2 小时前
how to export a table in sqlite, and import into another
数据库·sqlite
人间打气筒(Ada)2 小时前
MySQL主从架构
服务器·数据库·mysql
leegong231112 小时前
学习PostgreSQL专家认证
数据库·学习·postgresql
喝醉酒的小白2 小时前
PostgreSQL:更新字段慢
数据库·postgresql
敲敲敲-敲代码2 小时前
【SQL实验】触发器
数据库·笔记·sql