【案例60】NIO导致本地内存溢出

问题 现象

集成环境出现宕机,javacore中报本地内存溢出。

问题分析

对JAVACORE进行分析之后可以发现,有大量的异步IO线程。

同时查看websphere的ffdc事件可以发现:

从FFDC中可以看到部分信息:

java 复制代码
com.ibm.ws.util.ThreadPool$Worker.run(ThreadPool.java:1814)
Caused by: java.io.IOException: Async IO operation failed (1), reason: RC: 10053  您的主机中的软件中止了一个已建立的连接。
[22-14-24 12:12:41:315 GMT+08:00]     FFDC Exception:java.io.IOException SourceId:com.ibm.ws.webcontainer.channel.WCCByteBufferInputStream ProbeId:102 Reporter:com.ibm.ws.webcontainer.channel.WCCByteBufferInputStream@93528999
java.io.IOException: Async IO operation failed (1), reason: RC: 55  指定的网络资源或设备不再可用。

同时可以发现WAS的system.out中的报错

java 复制代码
[22-14-24 12:10:32:018 GMT+08:00] 000001a7 ECPCacheRemov I com.yonyou.ec.cache.command.ECPCacheRemoveCommand run ###UAPEC-ECPCacheRemoveCommand###移除SaleOrgName数据缓存对象,UserID:0001E310000000008FGZ
[22-14-24 12:10:33:097 GMT+08:00] 00001082 ActorClientAg E nc.web.es.uapecpub.server.support.ActorClientAgent$1 notifyStopped IP地址为127.0.0.1,端口为9011的远程机器失去连接.

有一个BOSS线程和大量worker。以16*2的速度增长。

经过和研发沟通定位,可以发现是EC那边采取了NETTY框架进行NIO的封装。

解决方案

正常来说,即使连接断开,NETTY也可以根据自己的心跳机制去断开连接。这里可以理解为一个BUG。

修改方案分为三种:

1.升级现有的NETTY框架。

2.修改默认线程数,时间上限等。

3.修改代码,增加判断。

java 复制代码
for (int i = 0; i < ports.length; ++i)
      if ((isLocal) || (isWebLocalDeploy(hosts[i], ports[i])))
        command.run();
      else
        try {
          new Socket(hosts[i], Integer.valueOf(ports[i]).intValue());
          getClientAgent(hosts[i], ports[i], comPorts[i]).sendCommandOneWay(command);
        } catch (Exception e) {
          Logger.error("网络ip或端口错误!ip:" + hosts[i] + ";port:" + ports[i]);

修改之后可以发现:

错误的端口配置下,NIO相关线程基本为0

正确的端口配置下,NIO的相关线程数为4-6个左右。

相关推荐
跟着珅聪学java33 分钟前
spring boot +Elment UI 上传文件教程
java·spring boot·后端·ui·elementui·vue
我命由我1234538 分钟前
Spring Boot 自定义日志打印(日志级别、logback-spring.xml 文件、自定义日志打印解读)
java·开发语言·jvm·spring boot·spring·java-ee·logback
lilye6639 分钟前
程序化广告行业(55/89):DMP与DSP对接及数据统计原理剖析
java·服务器·前端
SKYDROID云卓小助手2 小时前
三轴云台之相机技术篇
运维·服务器·网络·数码相机·音视频
东方佑2 小时前
自动调整PPT文本框内容:防止溢出并智能截断文本
linux·运维·powerpoint
zhougl9963 小时前
html处理Base文件流
linux·前端·html
泥土编程4 小时前
kubekey -实现懒人一键部署K8S集群
linux·运维
战族狼魂4 小时前
CSGO 皮肤交易平台后端 (Spring Boot) 代码结构与示例
java·spring boot·后端
xyliiiiiL5 小时前
ZGC初步了解
java·jvm·算法
杉之6 小时前
常见前端GET请求以及对应的Spring后端接收接口写法
java·前端·后端·spring·vue