日志组件导致的内存溢出问题分析

1、 内存溢出日志

普通的http请求,导致堆内存直接溢出,看了下代码实现非常简单的一次DB查询且数据量也比较小,不可能导致内存溢出呢

java.lang.OutOfMemoryError: Java heap space

at java.util.Arrays.copyOf(Arrays.java:3332)

at java.lang.AbstractStringBuilder.ensureCapacityInternal(AbstractStringBuilder.java:124)

at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:649)

at java.lang.StringBuffer.append(StringBuffer.java:387)

at java.io.StringWriter.write(StringWriter.java:77)

at java.io.StringWriter.append(StringWriter.java:202)

at java.io.StringWriter.append(StringWriter.java:41)

at com.google.gson.stream.JsonWriter.beforeValue(JsonWriter.java:645)

at com.google.gson.stream.JsonWriter.value(JsonWriter.java:532)

at com.google.gson.internal.bind.TypeAdapters$5.write(TypeAdapters.java:189)

at com.google.gson.internal.bind.TypeAdapters$5.write(TypeAdapters.java:173)

2、分析代码实现

排除代码实现的问题那一定是在代码执行前干了什么时间导致内存溢出,查看日志发现异常发生在 ParamLogAspect.java 中,代码实现如下

java 复制代码
@Before("execution(* com.example.controller..*(..))")
public void logBefore(JoinPoint joinPoint) {
    MethodSignature signature = (MethodSignature)joinPoint.getSignature();
    String className = signature.getDeclaringType().getName();
    String methodName = signature.getName();
    Object[] args = joinPoint.getArgs();
    StringBuilder jsonArgsBuilder = new StringBuilder();
    try {
        jsonArgsBuilder.append(new Gson().toJson(arg));
    } catch (Throwable e1) {
        log.info("转换函数入参json失败 - {}", e1, args != null ? args.toString() : "");
    }
    log.info("[aop operation log] {}.{} , Params:{}", className, methodName, jsonArgsBuilder);
}

初看也没发现什么问题,断点发现卡在了 new Gson().toJson(arg) ,断点调试跟进发现入参类型为 HttpServletRequest ,难道它不可直接打印 ?

查看 HttpServletRequest 说明发现该类包含大量的内部状态和引用,比如输入流、会话信息、请求头等,直接序列化这些信息可能会形成循环引用或过于庞大,导致序列化过程占用过多内存甚至进入无限循环。为了避免这种情况,建议手动提取 HttpServletRequest 中的有用信息,并将这些信息序列化。

3、优化组件日志记录方式

将日志组件的实现改为参数部分初始化,再次请求就可以了

java 复制代码
@Before("execution(* com.example.controller..*(..))")
public void logBefore(JoinPoint joinPoint) {
    MethodSignature signature = (MethodSignature)joinPoint.getSignature();
    String className = signature.getDeclaringType().getName();
    String methodName = signature.getName();
    Object[] args = joinPoint.getArgs();
    StringBuilder jsonArgsBuilder = new StringBuilder();
    try {
        // 增加 HttpServletRequest 类型参数解析(HttpServletRequest 直接 toJson 会导致内存溢出)
        for (Object arg : args) {
            if(arg instanceof HttpServletRequest){
                HttpServletRequest request = (HttpServletRequest) args[0];
                Map<String, String> paramMap = new HashMap<>();
                Enumeration<String> parameterNames = request.getParameterNames();
                while (parameterNames.hasMoreElements()) {
                    String paramName = parameterNames.nextElement();
                    String paramValue = request.getParameter(paramName);
                    paramMap.put(paramName, paramValue);
                }
                jsonArgsBuilder.append(new Gson().toJson(paramMap)).append(" ");
            }
            else {
                jsonArgsBuilder.append(new Gson().toJson(arg)).append(" ");
            }
        }
    } catch (Throwable e1) {
        log.info("转换函数入参json失败 - {}", e1, args != null ? args.toString() : "");
    }
    log.info("[aop operation log] {}.{} , Params:{}", className, methodName, jsonArgsBuilder);
}

4、深度分析

什么原因导致的内存溢出呢,初步猜测可能导致的原因如下:

  • HttpServletRequest 对象内部存在循环引用,如:HttpSession、HttpServletRequest 和 ServletContext、ServletConfig 对象之间相互引用,导致 Gson 在处理这些循环引用时,可能会进入无限循环,导致内存溢出。
  • HttpServletRequest 内容及数量确实很大,占用大量内存,导致内存溢出
  • 非序列化字段或者动态生成的输入、输出流,在序列化过程中可能会引发异常或者占用大量内存。

从异常日志并没有发现有循环引用的调用栈,难道真是太大了导致的溢出?导出dump文件接着看下,还真是太大导致的

一个 request 占用了 89.37 %的内存,确实离谱了 !!!

相关推荐
wei_shuo25 分钟前
飞算 JavaAI 开发助手:深度学习驱动下的 Java 全链路智能开发新范式
java·开发语言·飞算javaai
欧阳秦穆1 小时前
apoc-5.24.0-extended.jar 和 apoc-4.4.0.36-all.jar 啥区别
java·jar
岁忧1 小时前
(LeetCode 面试经典 150 题 ) 58. 最后一个单词的长度 (字符串)
java·c++·算法·leetcode·面试·go
Java初学者小白1 小时前
秋招Day14 - Redis - 应用
java·数据库·redis·缓存
代码老y1 小时前
Spring Boot + 本地部署大模型实现:优化与性能提升
java·spring boot·后端
GodKeyNet1 小时前
设计模式-桥接模式
java·设计模式·桥接模式
guojl2 小时前
Java多任务编排技术
java
丶意冷2 小时前
mybatisPlus分页方言设置错误问题 mybatisPlus对于Oceanbase的Oracle租户分页识别错误
java·数据库·oracle·oceanbase
要开心吖ZSH3 小时前
《Spring 中上下文传递的那些事儿》Part 4:分布式链路追踪 —— Sleuth + Zipkin 实践
java·分布式·spring
桦说编程3 小时前
深入解析CompletableFuture源码实现
java·性能优化·源码