修改jvm对象的属性值(私有)

修改jvm对象的属性值(私有)

这个想法的来源

一个spark job 在启动之后,就会确定 executor 的数量。但是存在一种情况,当我的队列资源宽松

可能就要调整一些job的资源,但是spark job在启动的时候,最大的资源就确定了,所以能否可以通过直接修改jvm

里面某些属性值来调整 job 的 资源使用大小。

通过阅读 spark on yarn 的 提交job流程代码,发现在 ApplicationMaster registerAM 方法最后

会启动一个 线程:

  1. 主要用来监控 失败 exetors 数量,失败超过一定数据之后,执行 spark stop操作
  2. 执行 allocator.allocateResources() 方法,这个方法里面会比较 executor 设定值 (targetNumExecutors) 与 当前已经分配的值,不够的话,则会
    执行申请操作
    那么如果直接增加 jvm YarnAllocator 实例的 targetNumExecutors的话, 这个spark job executor 数据就会增加。

具体操作 通过 arthas 工具操作,修改对象的私有属性值

  1. 找到 spark driver 所在的主机 执行 java -jar arthas-boot.jar

  2. 选择 对应的 进程

  3. 先找到 此对象的 classloader

    sc -d *YarnAllocator

  4. 使用 vmtool 工具 修改 私有的对象属性

    vmtool --action getInstances --className org.apache.spark.deploy.yarn.YarnAllocator //先获取到所有的实例对象
    vmtool --action getInstances --className org.apache.spark.deploy.yarn.YarnAllocator --express '#instance=instances[0]' //再拿到第一个实例对象
    vmtool --action getInstances --className org.apache.spark.deploy.yarn.YarnAllocator --express '#instance=instances[0],#fieldObj=@org.apache.spark.deploy.yarn.YarnAllocator@class.getDeclaredField("orgapachesparkdeployyarnYarnAllocatortargetNumExecutors")' //反射拿到字段 vmtool --action getInstances --className org.apache.spark.deploy.yarn.YarnAllocator --express '#instance=instances[0],#fieldObj=@org.apache.spark.deploy.yarn.YarnAllocator@class.getDeclaredField("orgapachesparkdeployyarnYarnAllocatortargetNumExecutors"),#fieldObj.setAccessible(true)' //字段设置可访问 vmtool --action getInstances --className org.apache.spark.deploy.yarn.YarnAllocator --express '#instance=instances[0],#fieldObj=@org.apache.spark.deploy.yarn.YarnAllocator@class.getDeclaredField("org$apache$spark$deploy$yarn$YarnAllocatortargetNumExecutors"),#fieldObj.setAccessible(true),#fieldObj.get(#instance)' //获取到实例的私有属性值
    vmtool --action getInstances --className org.apache.spark.deploy.yarn.YarnAllocator --express '#instance=instances[0],#fieldObj=@org.apache.spark.deploy.yarn.YarnAllocator@class.getDeclaredField("orgapachesparkdeployyarnYarnAllocator$targetNumExecutors"),#fieldObj.setAccessible(true),#fieldObj.set(#instance, 5)' //设置实例的私有属性值

注意: 有些复杂的属性不好确定,此时就需要 反编译代码了,或者使用 vmtool express 里面通过反射 打印出 所有的 Filed class.getDeclaredFields()

jad org.apache.spark.deploy.yarn.YarnAllocator //找到 targetNumExecutors 属性,可以看到并不是 targetNumExecutors,而是 orgapachesparkdeployyarnYarnAllocator$targetNumExecutors

  1. 观察 yarn web ui ,查看这个 job 的资源是不是增加了

具体操作 通过 arthas 工具操作,查看对象的静态属性值、执行静态方法

复制代码
ognl -c 279f2327 @org.apache.spark.deploy.yarn.YarnAllocator@MEM_REGEX 
ognl -c 279f2327 @org.apache.spark.deploy.yarn.YarnAllocator@MEM_REGEX() 
相关推荐
果果软件8 小时前
2026 后台管理系统选型:若依、JeecgBoot、芋道、NocoBase 和 GewuMind Boot 怎么选?
java·人工智能·后端·ai·开源
码云社区11 小时前
Java家政服务系统源码:人员技能、服务范围与多商家业务落地
java·开发语言·家政服务·家政小程序·家政系统
摇滚侠12 小时前
《On Java 中文版 基础卷》阅读笔记 接口 18
java·笔记·python
CoderYanger12 小时前
Java EE 进阶:9.MyBatis 操作数据库(进阶)(第八弹):MyBatis Generator
java·数据库·spring boot·spring·java-ee·tomcat·mybatis
大大大大晴天13 小时前
每天认识一个组件:VictoriaLogs
大数据
jaysee-sjc15 小时前
【黑马点评】Day02:优惠券秒杀与分布式锁
java·分布式·nginx·spring·node.js·tomcat·maven
学长毕设16 小时前
基于SpringBoot 博物馆文物租赁及修复管理系统-附源码
大数据·数据库·spring boot
秋天的怀念_David16 小时前
算法一千零一夜 · 第三十五夜 · 恢复风暴
java·程序人生·算法
考虑考虑16 小时前
JDK27中的加密对象的 PEM 编码
java·后端·java ee
行者-全栈开发16 小时前
SpringBoot + GraalVM 原生编译实战:启动时间从8秒到0.5秒的极致优化
java·spring boot·后端