日志组件导致的内存溢出问题分析

1、 内存溢出日志

普通的http请求,导致堆内存直接溢出,看了下代码实现非常简单的一次DB查询且数据量也比较小,不可能导致内存溢出呢

java.lang.OutOfMemoryError: Java heap space

at java.util.Arrays.copyOf(Arrays.java:3332)

at java.lang.AbstractStringBuilder.ensureCapacityInternal(AbstractStringBuilder.java:124)

at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:649)

at java.lang.StringBuffer.append(StringBuffer.java:387)

at java.io.StringWriter.write(StringWriter.java:77)

at java.io.StringWriter.append(StringWriter.java:202)

at java.io.StringWriter.append(StringWriter.java:41)

at com.google.gson.stream.JsonWriter.beforeValue(JsonWriter.java:645)

at com.google.gson.stream.JsonWriter.value(JsonWriter.java:532)

at com.google.gson.internal.bind.TypeAdapters$5.write(TypeAdapters.java:189)

at com.google.gson.internal.bind.TypeAdapters$5.write(TypeAdapters.java:173)

2、分析代码实现

排除代码实现的问题那一定是在代码执行前干了什么时间导致内存溢出,查看日志发现异常发生在 ParamLogAspect.java 中,代码实现如下

java 复制代码
@Before("execution(* com.example.controller..*(..))")
public void logBefore(JoinPoint joinPoint) {
    MethodSignature signature = (MethodSignature)joinPoint.getSignature();
    String className = signature.getDeclaringType().getName();
    String methodName = signature.getName();
    Object[] args = joinPoint.getArgs();
    StringBuilder jsonArgsBuilder = new StringBuilder();
    try {
        jsonArgsBuilder.append(new Gson().toJson(arg));
    } catch (Throwable e1) {
        log.info("转换函数入参json失败 - {}", e1, args != null ? args.toString() : "");
    }
    log.info("[aop operation log] {}.{} , Params:{}", className, methodName, jsonArgsBuilder);
}

初看也没发现什么问题,断点发现卡在了 new Gson().toJson(arg) ,断点调试跟进发现入参类型为 HttpServletRequest ,难道它不可直接打印 ?

查看 HttpServletRequest 说明发现该类包含大量的内部状态和引用,比如输入流、会话信息、请求头等,直接序列化这些信息可能会形成循环引用或过于庞大,导致序列化过程占用过多内存甚至进入无限循环。为了避免这种情况,建议手动提取 HttpServletRequest 中的有用信息,并将这些信息序列化。

3、优化组件日志记录方式

将日志组件的实现改为参数部分初始化,再次请求就可以了

java 复制代码
@Before("execution(* com.example.controller..*(..))")
public void logBefore(JoinPoint joinPoint) {
    MethodSignature signature = (MethodSignature)joinPoint.getSignature();
    String className = signature.getDeclaringType().getName();
    String methodName = signature.getName();
    Object[] args = joinPoint.getArgs();
    StringBuilder jsonArgsBuilder = new StringBuilder();
    try {
        // 增加 HttpServletRequest 类型参数解析(HttpServletRequest 直接 toJson 会导致内存溢出)
        for (Object arg : args) {
            if(arg instanceof HttpServletRequest){
                HttpServletRequest request = (HttpServletRequest) args[0];
                Map<String, String> paramMap = new HashMap<>();
                Enumeration<String> parameterNames = request.getParameterNames();
                while (parameterNames.hasMoreElements()) {
                    String paramName = parameterNames.nextElement();
                    String paramValue = request.getParameter(paramName);
                    paramMap.put(paramName, paramValue);
                }
                jsonArgsBuilder.append(new Gson().toJson(paramMap)).append(" ");
            }
            else {
                jsonArgsBuilder.append(new Gson().toJson(arg)).append(" ");
            }
        }
    } catch (Throwable e1) {
        log.info("转换函数入参json失败 - {}", e1, args != null ? args.toString() : "");
    }
    log.info("[aop operation log] {}.{} , Params:{}", className, methodName, jsonArgsBuilder);
}

4、深度分析

什么原因导致的内存溢出呢,初步猜测可能导致的原因如下:

  • HttpServletRequest 对象内部存在循环引用,如:HttpSession、HttpServletRequest 和 ServletContext、ServletConfig 对象之间相互引用,导致 Gson 在处理这些循环引用时,可能会进入无限循环,导致内存溢出。
  • HttpServletRequest 内容及数量确实很大,占用大量内存,导致内存溢出
  • 非序列化字段或者动态生成的输入、输出流,在序列化过程中可能会引发异常或者占用大量内存。

从异常日志并没有发现有循环引用的调用栈,难道真是太大了导致的溢出?导出dump文件接着看下,还真是太大导致的

一个 request 占用了 89.37 %的内存,确实离谱了 !!!

相关推荐
hrrrrb4 分钟前
【Python】字符串
java·前端·python
mkhase12 分钟前
9.12-QT-基本登陆界面实现
java·jvm·qt
yinke小琪15 分钟前
说说hashCode() 和 equals() 之间的关系
java·后端·面试
若鱼191918 分钟前
Kafka如何配置生产者拦截器和消费者拦截器
java·kafka
渣哥23 分钟前
Java 自适应自旋锁机制详解:原理、优缺点与应用场景
java
摇滚侠34 分钟前
java语言中,list<String>转成字符串,逗号分割;List<Integer>转字符串,逗号分割
java·windows·list
烽学长36 分钟前
(附源码)基于Spring Boot的宿舍管理系统设计
java
lssjzmn37 分钟前
基于Spring Boot与Micrometer的系统参数监控指南
java·spring boot·数据可视化
柯南二号38 分钟前
【Java后端】Spring Boot 集成雪花算法唯一 ID
java·linux·服务器
纤瘦的鲸鱼42 分钟前
Docker 从入门到实践:容器化技术核心指南
java·docker·容器