yarn任务筛选spark任务,判断内存/CPU使用超过限制任务

yarn任务筛选spark任务,判断内存/CPU使用超过限制任务

curl -s "http://it-cdh-node01:8088/ws/v1/cluster/apps?states=RUNNING" | jq '.apps.app | map(select(.applicationType == "SPARK" ) | select(.allocatedMB >= 102400 or .allocatedVCores >= 50) | { id, name, allocatedMB, allocatedVCores, elapsedTime })' >> /data03/jq/sparkjoblog

curl -s "http://it-cdh-node01:8088/ws/v1/cluster/apps?states=RUNNING" | jq '.apps.app | map(select(.applicationType == "SPARK" ) | select(.allocatedMB >= 102400 or .allocatedVCores >= 50) | { id, name, allocatedMB, allocatedVCores })'

curl -s "http://it-cdh-node01:8088/ws/v1/cluster/apps?states=RUNNING" | jq 'select(.apps.app[].applicationType = "SPARK") | .apps.app[].id' | xargs -I {} curl -s "http://it-cdh-node01:8088/ws/v1/cluster/apps/{}" | jq 'select(.app.allocatedMB >= 102400 or .app.allocatedVCores >= 50) | .app.id, .app.name, .app.allocatedMB, .app.allocatedVCores'

相关推荐
前端小大白24 分钟前
JavaScript 循环三巨头:for vs forEach vs map 终极指南
前端·javascript·面试
晴空雨25 分钟前
面试题:如何判断一个对象是否为可迭代对象?
前端·javascript·面试
阿虎儿28 分钟前
React 事件类型完全指南:深入理解合成事件系统
前端·javascript·react.js
Hilaku1 小时前
前端需要掌握多少Node.js?
前端·javascript·node.js
王六岁1 小时前
JavaScript包装类型深度解析:理解原始值与对象的桥梁
javascript·面试
前端甜糖1 小时前
美团购物车小球动画效果
前端·javascript
Juchecar1 小时前
JS/TS:Promise 和 async/await 完全指南
javascript
Spider_Man1 小时前
懒加载那些事儿:图片也有“拖延症”?
前端·javascript·html
三十_1 小时前
3 分钟实现一个 Canvas 签名板,支持 PC 和移动端
前端·javascript
汪子熙1 小时前
从 Hungarian 到 Finnish:$ 后缀命名的流式约定深度解析
前端·javascript