yarn任务筛选spark任务,判断内存/CPU使用超过限制任务

yarn任务筛选spark任务,判断内存/CPU使用超过限制任务

curl -s "http://it-cdh-node01:8088/ws/v1/cluster/apps?states=RUNNING" | jq '.apps.app | map(select(.applicationType == "SPARK" ) | select(.allocatedMB >= 102400 or .allocatedVCores >= 50) | { id, name, allocatedMB, allocatedVCores, elapsedTime })' >> /data03/jq/sparkjoblog

curl -s "http://it-cdh-node01:8088/ws/v1/cluster/apps?states=RUNNING" | jq '.apps.app | map(select(.applicationType == "SPARK" ) | select(.allocatedMB >= 102400 or .allocatedVCores >= 50) | { id, name, allocatedMB, allocatedVCores })'

curl -s "http://it-cdh-node01:8088/ws/v1/cluster/apps?states=RUNNING" | jq 'select(.apps.app[].applicationType = "SPARK") | .apps.app[].id' | xargs -I {} curl -s "http://it-cdh-node01:8088/ws/v1/cluster/apps/{}" | jq 'select(.app.allocatedMB >= 102400 or .app.allocatedVCores >= 50) | .app.id, .app.name, .app.allocatedMB, .app.allocatedVCores'

相关推荐
热爱前端的小君同学6 分钟前
长按拖拽移动的vue3组件
前端·javascript·vue.js
巴巴_羊33 分钟前
AJAX 使用 和 HTTP
前端·http·ajax
岁岁岁平安1 小时前
Vue3学习(组合式API——reactive()和ref()函数详解)
前端·javascript·vue.js·学习·vue3·reactive·ref
肠胃炎1 小时前
React事件机制
前端·javascript·react.js
CUIYD_19891 小时前
javascript —— ! 和 !! 的区别与作用
前端·javascript·vue.js
.Rw1 小时前
Hadoop区别
spark
yunvwugua__3 小时前
Python训练营打卡 Day26
前端·javascript·python
yyywoaini~4 小时前
spark数据压缩
spark
只因只因爆4 小时前
spark数据清洗
大数据·分布式·spark
码农捻旧5 小时前
解决Mongoose “Cannot overwrite model once compiled“ 错误的完整指南
javascript·数据库·mongodb·node.js·express