修改jvm对象的属性值(私有)

修改jvm对象的属性值(私有)

这个想法的来源

一个spark job 在启动之后,就会确定 executor 的数量。但是存在一种情况,当我的队列资源宽松

可能就要调整一些job的资源,但是spark job在启动的时候,最大的资源就确定了,所以能否可以通过直接修改jvm

里面某些属性值来调整 job 的 资源使用大小。

通过阅读 spark on yarn 的 提交job流程代码,发现在 ApplicationMaster registerAM 方法最后

会启动一个 线程:

  1. 主要用来监控 失败 exetors 数量,失败超过一定数据之后,执行 spark stop操作
  2. 执行 allocator.allocateResources() 方法,这个方法里面会比较 executor 设定值 (targetNumExecutors) 与 当前已经分配的值,不够的话,则会
    执行申请操作
    那么如果直接增加 jvm YarnAllocator 实例的 targetNumExecutors的话, 这个spark job executor 数据就会增加。

具体操作 通过 arthas 工具操作,修改对象的私有属性值

  1. 找到 spark driver 所在的主机 执行 java -jar arthas-boot.jar

  2. 选择 对应的 进程

  3. 先找到 此对象的 classloader

    sc -d *YarnAllocator

  4. 使用 vmtool 工具 修改 私有的对象属性

    vmtool --action getInstances --className org.apache.spark.deploy.yarn.YarnAllocator //先获取到所有的实例对象
    vmtool --action getInstances --className org.apache.spark.deploy.yarn.YarnAllocator --express '#instance=instances[0]' //再拿到第一个实例对象
    vmtool --action getInstances --className org.apache.spark.deploy.yarn.YarnAllocator --express '#instance=instances[0],#fieldObj=@org.apache.spark.deploy.yarn.YarnAllocator@class.getDeclaredField("orgapachesparkdeployyarnYarnAllocatortargetNumExecutors")' //反射拿到字段 vmtool --action getInstances --className org.apache.spark.deploy.yarn.YarnAllocator --express '#instance=instances[0],#fieldObj=@org.apache.spark.deploy.yarn.YarnAllocator@class.getDeclaredField("orgapachesparkdeployyarnYarnAllocator$$targetNumExecutors"),#fieldObj.setAccessible(true)' //字段设置可访问
    vmtool --action getInstances --className org.apache.spark.deploy.yarn.YarnAllocator --express '#instance=instances[0],#fieldObj=@org.apache.spark.deploy.yarn.YarnAllocator@class.getDeclaredField("orgapachesparkdeployyarnYarnAllocatortargetNumExecutors"),#fieldObj.setAccessible(true),#fieldObj.get(#instance)' //获取到实例的私有属性值 vmtool --action getInstances --className org.apache.spark.deploy.yarn.YarnAllocator --express '#instance=instances[0],#fieldObj=@org.apache.spark.deploy.yarn.YarnAllocator@class.getDeclaredField("orgapachesparkdeployyarnYarnAllocator$$targetNumExecutors"),#fieldObj.setAccessible(true),#fieldObj.set(#instance, 5)' //设置实例的私有属性值

注意: 有些复杂的属性不好确定,此时就需要 反编译代码了,或者使用 vmtool express 里面通过反射 打印出 所有的 Filed class.getDeclaredFields()

jad org.apache.spark.deploy.yarn.YarnAllocator //找到 targetNumExecutors 属性,可以看到并不是 targetNumExecutors,而是 orgapachesparkdeployyarnYarnAllocator$targetNumExecutors

  1. 观察 yarn web ui ,查看这个 job 的资源是不是增加了

具体操作 通过 arthas 工具操作,查看对象的静态属性值、执行静态方法

复制代码
ognl -c 279f2327 @org.apache.spark.deploy.yarn.YarnAllocator@MEM_REGEX 
ognl -c 279f2327 @org.apache.spark.deploy.yarn.YarnAllocator@MEM_REGEX() 
相关推荐
智码看视界24 分钟前
老梁聊全栈系列:(阶段一)架构思维与全局观
java·javascript·架构
黎宇幻生26 分钟前
Java全栈学习笔记33
java·笔记·学习
Elastic 中国社区官方博客1 小时前
Elasticsearch:智能搜索的 MCP
大数据·人工智能·elasticsearch·搜索引擎·全文检索
BillKu3 小时前
推荐 Eclipse Temurin 的 OpenJDK
java·ide·eclipse
Morri33 小时前
[Java恶补day53] 45. 跳跃游戏Ⅱ
java·算法·leetcode
未来之窗软件服务3 小时前
浏览器开发CEFSharp+X86 (十六)网页读取电子秤数据——仙盟创梦IDE
大数据·智能硬件·浏览器开发·仙盟创梦ide·东方仙盟·东方仙盟网页调用sdk
悟能不能悟3 小时前
eclipse怎么把项目设为web
java·eclipse
乂爻yiyao3 小时前
java 代理模式实现
java·开发语言·代理模式
佛祖让我来巡山3 小时前
深入理解Java对象:从创建到内存访问的JVM底层机制
jvm·对象创建过程·对象是如何创建的
用手手打人3 小时前
JVM详解(一)--JVM和Java体系结构
jvm