flink Jobmanager metaspace oom 分析

文章目录

现象

通过flink 页面提交程序,多次提交后,jobmanager 报metaspace oom

作业背景

用户代码是flink 代码+Spring +nacos

分析

现象分析

从现象来看肯定是因为有的类没有被正确卸载导致的

类卸载条件

要卸载一个 Java 类,需要满足以下几个基本条件:

该类没有被任何引用对象所引用。也就是说,没有其他对象持有该类的引用。

该类的类加载器已经不再使用。如果一个类的类加载器还在使用,那么这个类就无法被卸载。

该类的 Class 对象已经从内存中被清除。只有当 Class 对象被从内存中移除,类的定义和字节码才算真正被卸载。

该类没有任何静态方法或静态变量被其他类所引用。如果有其他类持有该类的静态成员的引用,那么这个类也无法被卸载

MAT 分析

从MAT Duplicate Class 功能分析来看,确实是多个类被重复加载,从引用关系上来说可以看到重复的类被线程所引用,正常来说这些线程应该是正常结束的,然后用arthas 分析了下nacos 这个线程ClientWorker 是一个守护线程只有jobmanager 结束线程会会正常结束

排除了nacos,看现象还有类重复加载,继续分析,发现是log4j 注册了钩子 函数,导致的

我用简单的代码还原了钩子函数下这个问题,从mat 分析来看是一样的

bash 复制代码
private static String name = "xxxl";

    public void launcher(String[] args) {


        StreamExecutionEnvironment executionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment();

        executionEnvironment.socketTextStream("localhost", 9092).print();


        try {
            Runtime.getRuntime().addShutdownHook(new Thread(
                    new Runnable() {
                        @Override
                        public void run() {
                            System.out.println(name);
                        }
                    }
            ));
            executionEnvironment.execute("aa");

        } catch (Exception e) {
            throw new RuntimeException(e);
        }


    }

解决办法

解决办法,因为作业代码不好修改,对于这种有spring那一套的实时作业程序来讲,不适合从页面提交,从客户端直接提交,不会有这个问题,为啥从客户端提交不会有这问题,因为从页面提交,实际上是在jobmanager 这个进程里去搞,相当于会把这个进程给污染了,从客户端来说,每次提交都交都是全新的环境。

这个和部署也有一定的关系,如果是application 和per-job 模式,每次都会有一个新的jobmanager,也不会有这问题,实际上生产用的是k8s部署,用的session mode 模式,就会有这个问题

其实flink 官方已经注意到了这个问题,给出了常见的原因和解决方案

相关推荐
程序员张32 小时前
Maven编译和打包插件
java·spring boot·maven
ybq195133454313 小时前
Redis-主从复制-分布式系统
java·数据库·redis
weixin_472339464 小时前
高效处理大体积Excel文件的Java技术方案解析
java·开发语言·excel
小毛驴8504 小时前
Linux 后台启动java jar 程序 nohup java -jar
java·linux·jar
DKPT5 小时前
Java桥接模式实现方式与测试方法
java·笔记·学习·设计模式·桥接模式
鸭鸭鸭进京赶烤5 小时前
大学专业科普 | 云计算、大数据
大数据·云计算
好奇的菜鸟6 小时前
如何在IntelliJ IDEA中设置数据库连接全局共享
java·数据库·intellij-idea
DuelCode7 小时前
Windows VMWare Centos Docker部署Springboot 应用实现文件上传返回文件http链接
java·spring boot·mysql·nginx·docker·centos·mybatis
优创学社27 小时前
基于springboot的社区生鲜团购系统
java·spring boot·后端
幽络源小助理7 小时前
SpringBoot基于Mysql的商业辅助决策系统设计与实现
java·vue.js·spring boot·后端·mysql·spring