yarn任务筛选spark任务,判断内存/CPU使用超过限制任务

yarn任务筛选spark任务,判断内存/CPU使用超过限制任务

curl -s "http://it-cdh-node01:8088/ws/v1/cluster/apps?states=RUNNING" | jq '.apps.app | map(select(.applicationType == "SPARK" ) | select(.allocatedMB >= 102400 or .allocatedVCores >= 50) | { id, name, allocatedMB, allocatedVCores, elapsedTime })' >> /data03/jq/sparkjoblog

curl -s "http://it-cdh-node01:8088/ws/v1/cluster/apps?states=RUNNING" | jq '.apps.app | map(select(.applicationType == "SPARK" ) | select(.allocatedMB >= 102400 or .allocatedVCores >= 50) | { id, name, allocatedMB, allocatedVCores })'

curl -s "http://it-cdh-node01:8088/ws/v1/cluster/apps?states=RUNNING" | jq 'select(.apps.app[].applicationType = "SPARK") | .apps.app[].id' | xargs -I {} curl -s "http://it-cdh-node01:8088/ws/v1/cluster/apps/{}" | jq 'select(.app.allocatedMB >= 102400 or .app.allocatedVCores >= 50) | .app.id, .app.name, .app.allocatedMB, .app.allocatedVCores'

相关推荐
傻啦嘿哟19 分钟前
实战:用Splash搞定JavaScript密集型网页渲染
开发语言·javascript·ecmascript
冰敷逆向43 分钟前
苏宁滑块VMP深入剖析(一):解混淆篇
javascript·爬虫·安全·web
小小鸟0081 小时前
JS(ES6+)基础
javascript·es6
Mr.Jessy2 小时前
JavaScript高级:深浅拷贝、异常处理、防抖及节流
开发语言·前端·javascript·学习
唐叔在学习2 小时前
30s让ai编写「跳过外链中转页」的油猴脚本
前端·javascript
API技术员2 小时前
item_get_app - 根据ID取商品详情原数据H5数据接口实战解析
javascript
八哥程序员2 小时前
Chrome DevTools 详解系列之 Elements面板
javascript·浏览器
coderHing[专注前端]2 小时前
告别 try/catch 地狱:用三元组重新定义 JavaScript 错误处理
开发语言·前端·javascript·react.js·前端框架·ecmascript
UIUV3 小时前
JavaScript中this指向机制与异步回调解决方案详解
前端·javascript·代码规范