大数据-之LibrA数据库系统告警处理(ALM-12052 TCP临时端口使用率超过阈值)

告警解释

系统每30秒周期性检测TCP临时端口使用率,并把实际使用率和阈值(系统默认阈值80%)进行比较,当检测到TCP临时端口使用率连续多次(默认值为5)超过阈值时产生该告警。

用户可通过"系统设置 > 阈值配置 > 主机 > 网络状态 > TCP临时端口使用率 > TCP临时端口使用率"修改阈值。

平滑次数为1,TCP临时端口使用率小于或等于阈值时,告警恢复;平滑次数大于1,TCP临时端口使用率小于或等于阈值的90%时,告警恢复。

告警属性
告警ID 告警级别 可自动清除
12052 严重
告警参数
参数名称 参数含义
ServiceName 产生告警的服务名称。
RoleName 产生告警的角色名称。
HostName 产生告警的主机名。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
对系统的影响

主机上业务无法发起对外建立连接,业务中断。

可能原因
  • 临时端口不满足当前业务需求。
  • 系统环境异常。
处理步骤

扩大临时端口范围。

  1. 打开FusionInsight Manager页面,在实时告警列表中,单击此告警。在"告警详情"区域,获取告警所在主机IP地址。

  2. 使用PuTTY工具,以omm用户登录告警所在主机。

  3. 执行cat /proc/sys/net/ipv4/ip_local_port_range |cut -f 1 命令,获得开始端口值,执行****cat /proc/sys/net/ipv4/ip_local_port_range** |cut -f 2**命令,获得结束端口值,相减得到临时端口总数,若临时端口总数小于28232,说明操作系统随机端口范围太小,需要联系系统管理员扩大端口范围。

  4. 执行命令ss -ant 2>/dev/null | grep -v LISTEN | awk 'NR > 2 {print 4}'\|cut -d ':' -f 2 \| awk '1 >"开始端口值" {print $1}' | sort -u | wc -l,计算临时端口使用数。

  5. 使用公式计算临时端口使用率,临时端口使用率=(临时端口使用数/临时端口总数)*100,确认临时端口使用率是否超过阈值。

    • 是,执行[步骤 7](#步骤 7)。
    • 否,执行[步骤 6](#步骤 6)。
  6. 等待5分钟,检查该告警是否恢复。

    • 是,处理完毕。
    • 否,执行[步骤 7](#步骤 7)。

检查系统环境是否异常。

  1. 执行以下命令导入临时文件,并查看"port_result.txt"文件中高使用率端口。

    netstat -tnp > $BIGDATA_HOME/tmp/port_result.txt

    复制代码
    netstat -tnp 
    
    Active Internet connections (w/o servers)
    
    Proto Recv Send LocalAddress ForeignAddress State PID/ProgramName tcp   0   0 10-120-85-154:45433  10-120-8:25009 CLOSE_WAIT 94237/java 
    tcp   0   0 10-120-85-154:45434  10-120-8:25009 CLOSE_WAIT 94237/java 
    tcp   0   0 10-120-85-154:45435  10-120-8:25009 CLOSE_WAIT 94237/java 
    ...
  2. 执行如下命令,查看占用大量端口的进程。

    ps -ef |grep PID
    说明:

    • PID为[步骤 7](#步骤 7)查询出所属端口的进程号。
    • 可以执行如下命令,收集系统所有进程信息,查看占用大量端口的进程。 ps -ef > $BIGDATA_HOME/tmp/ps_result.txt
  3. 请系统管理员确认后,清除大量占用端口的进程,等待5分钟,检查该告警是否恢复。

    • 是,处理完毕。
    • 否,执行[步骤 10](#步骤 10)。

收集故障信息。

  1. 在主集群的FusionInsight Manager界面,单击"系统设置 > 日志下载"。
  2. 在"服务"下拉框中勾选"Manager",单击"确定"。
  3. 设置"主机"为告警所在节点和主OMS节点。
  4. 设置日志收集的"开始时间"和"结束时间"分别为告警产生时间的前后30分钟,单击"下载"。
相关推荐
I'm a winner8 小时前
【IP核】 Xilinx FPGA LVDS 高速接口,含验证工程与板级测试用例
tcp/ip·fpga开发·测试用例
白帽小丑9 小时前
# 一次 MySQL DELETE 误操作的数据恢复尝试实录
数据库·mysql
code_pgf9 小时前
AI-Agent记忆机制分析
大数据·人工智能
Quincy_Freak11 小时前
信创内网数据规范实践:银河麒麟下SQLite本地数据安全管理方案
数据库·sqlite·arm·数据库管理·大数据分析·银河麒麟·aarch64
cc57250265312 小时前
挑选大数据专业院校,重点参考哪几项指标
大数据
2601_9626838913 小时前
治理遗留系统中的“生肉 SQL”:一次用多模型协作优化慢查询的实战复盘
数据库·人工智能·sql
酱学编程14 小时前
【从零到一实现一个 AI Agent 框架 · 第四篇】04. 任务规划:拆解复杂目标 -
服务器·网络·数据库·人工智能
shushangyun_15 小时前
2026智能采购商城系统选型指南:如何引领企业数字化采购升级
java·大数据·数据库·人工智能·机器学习
艾莉丝努力练剑16 小时前
OpenCode AI 编程:Ubuntu 24.04 环境安装与使用指南
linux·服务器·网络·人工智能·tcp/ip·ubuntu
华山令狐虫16 小时前
DBAPI AI 写 SQL:支持动态 SQL 与参数占位符,自然语言一键生成
数据库·人工智能·sql·dbapi