日志组件导致的内存溢出问题分析

1、 内存溢出日志

普通的http请求,导致堆内存直接溢出,看了下代码实现非常简单的一次DB查询且数据量也比较小,不可能导致内存溢出呢

java.lang.OutOfMemoryError: Java heap space

at java.util.Arrays.copyOf(Arrays.java:3332)

at java.lang.AbstractStringBuilder.ensureCapacityInternal(AbstractStringBuilder.java:124)

at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:649)

at java.lang.StringBuffer.append(StringBuffer.java:387)

at java.io.StringWriter.write(StringWriter.java:77)

at java.io.StringWriter.append(StringWriter.java:202)

at java.io.StringWriter.append(StringWriter.java:41)

at com.google.gson.stream.JsonWriter.beforeValue(JsonWriter.java:645)

at com.google.gson.stream.JsonWriter.value(JsonWriter.java:532)

at com.google.gson.internal.bind.TypeAdapters$5.write(TypeAdapters.java:189)

at com.google.gson.internal.bind.TypeAdapters$5.write(TypeAdapters.java:173)

2、分析代码实现

排除代码实现的问题那一定是在代码执行前干了什么时间导致内存溢出,查看日志发现异常发生在 ParamLogAspect.java 中,代码实现如下

java 复制代码
@Before("execution(* com.example.controller..*(..))")
public void logBefore(JoinPoint joinPoint) {
    MethodSignature signature = (MethodSignature)joinPoint.getSignature();
    String className = signature.getDeclaringType().getName();
    String methodName = signature.getName();
    Object[] args = joinPoint.getArgs();
    StringBuilder jsonArgsBuilder = new StringBuilder();
    try {
        jsonArgsBuilder.append(new Gson().toJson(arg));
    } catch (Throwable e1) {
        log.info("转换函数入参json失败 - {}", e1, args != null ? args.toString() : "");
    }
    log.info("[aop operation log] {}.{} , Params:{}", className, methodName, jsonArgsBuilder);
}

初看也没发现什么问题,断点发现卡在了 new Gson().toJson(arg) ,断点调试跟进发现入参类型为 HttpServletRequest ,难道它不可直接打印 ?

查看 HttpServletRequest 说明发现该类包含大量的内部状态和引用,比如输入流、会话信息、请求头等,直接序列化这些信息可能会形成循环引用或过于庞大,导致序列化过程占用过多内存甚至进入无限循环。为了避免这种情况,建议手动提取 HttpServletRequest 中的有用信息,并将这些信息序列化。

3、优化组件日志记录方式

将日志组件的实现改为参数部分初始化,再次请求就可以了

java 复制代码
@Before("execution(* com.example.controller..*(..))")
public void logBefore(JoinPoint joinPoint) {
    MethodSignature signature = (MethodSignature)joinPoint.getSignature();
    String className = signature.getDeclaringType().getName();
    String methodName = signature.getName();
    Object[] args = joinPoint.getArgs();
    StringBuilder jsonArgsBuilder = new StringBuilder();
    try {
        // 增加 HttpServletRequest 类型参数解析(HttpServletRequest 直接 toJson 会导致内存溢出)
        for (Object arg : args) {
            if(arg instanceof HttpServletRequest){
                HttpServletRequest request = (HttpServletRequest) args[0];
                Map<String, String> paramMap = new HashMap<>();
                Enumeration<String> parameterNames = request.getParameterNames();
                while (parameterNames.hasMoreElements()) {
                    String paramName = parameterNames.nextElement();
                    String paramValue = request.getParameter(paramName);
                    paramMap.put(paramName, paramValue);
                }
                jsonArgsBuilder.append(new Gson().toJson(paramMap)).append(" ");
            }
            else {
                jsonArgsBuilder.append(new Gson().toJson(arg)).append(" ");
            }
        }
    } catch (Throwable e1) {
        log.info("转换函数入参json失败 - {}", e1, args != null ? args.toString() : "");
    }
    log.info("[aop operation log] {}.{} , Params:{}", className, methodName, jsonArgsBuilder);
}

4、深度分析

什么原因导致的内存溢出呢,初步猜测可能导致的原因如下:

  • HttpServletRequest 对象内部存在循环引用,如:HttpSession、HttpServletRequest 和 ServletContext、ServletConfig 对象之间相互引用,导致 Gson 在处理这些循环引用时,可能会进入无限循环,导致内存溢出。
  • HttpServletRequest 内容及数量确实很大,占用大量内存,导致内存溢出
  • 非序列化字段或者动态生成的输入、输出流,在序列化过程中可能会引发异常或者占用大量内存。

从异常日志并没有发现有循环引用的调用栈,难道真是太大了导致的溢出?导出dump文件接着看下,还真是太大导致的

一个 request 占用了 89.37 %的内存,确实离谱了 !!!

相关推荐
Shimiy22 分钟前
第六章 面向对象编程------进阶
java
大葱白菜26 分钟前
Java Set 集合详解:从基础语法到实战应用,彻底掌握去重与唯一性集合
java·后端
大葱白菜27 分钟前
Java Map 集合详解:从基础语法到实战应用,彻底掌握键值对数据结构
java·后端
添乱27 分钟前
「Java案例」判断是否是闰年的方法
java
FG.32 分钟前
Day22
java·面试
菜鸟的迷茫34 分钟前
Redis 缓存雪崩、穿透、击穿面试题深度解析与 Spring Boot 实战代码示例
java
珹洺1 小时前
C++算法竞赛篇:DevC++ 如何进行debug调试
java·c++·算法
SHUIPING_YANG1 小时前
根据用户id自动切换表查询
java·服务器·数据库
爱吃烤鸡翅的酸菜鱼1 小时前
IDEA高效开发:Database Navigator插件安装与核心使用指南
java·开发语言·数据库·编辑器·intellij-idea·database
惊涛骇浪、1 小时前
SpringMVC + Tomcat10
java·tomcat·springmvc