yarn任务筛选spark任务,判断内存/CPU使用超过限制任务

yarn任务筛选spark任务,判断内存/CPU使用超过限制任务

curl -s "http://it-cdh-node01:8088/ws/v1/cluster/apps?states=RUNNING" | jq '.apps.app | map(select(.applicationType == "SPARK" ) | select(.allocatedMB >= 102400 or .allocatedVCores >= 50) | { id, name, allocatedMB, allocatedVCores, elapsedTime })' >> /data03/jq/sparkjoblog

curl -s "http://it-cdh-node01:8088/ws/v1/cluster/apps?states=RUNNING" | jq '.apps.app | map(select(.applicationType == "SPARK" ) | select(.allocatedMB >= 102400 or .allocatedVCores >= 50) | { id, name, allocatedMB, allocatedVCores })'

curl -s "http://it-cdh-node01:8088/ws/v1/cluster/apps?states=RUNNING" | jq 'select(.apps.app[].applicationType = "SPARK") | .apps.app[].id' | xargs -I {} curl -s "http://it-cdh-node01:8088/ws/v1/cluster/apps/{}" | jq 'select(.app.allocatedMB >= 102400 or .app.allocatedVCores >= 50) | .app.id, .app.name, .app.allocatedMB, .app.allocatedVCores'

相关推荐
前端小趴菜053 分钟前
React-React.memo-props比较机制
前端·javascript·react.js
RadiumAg3 小时前
记一道有趣的面试题
前端·javascript
yangzhi_emo3 小时前
ES6笔记2
开发语言·前端·javascript
yanlele3 小时前
我用爬虫抓取了 25 年 5 月掘金热门面试文章
前端·javascript·面试
烛阴4 小时前
void 0 的奥秘:解锁 JavaScript 中 undefined 的正确打开方式
前端·javascript
初遇你时动了情5 小时前
腾讯地图 vue3 使用 封装 地图组件
javascript·vue.js·腾讯地图
dssxyz5 小时前
uniapp打包微信小程序主包过大问题_uniapp 微信小程序时主包太大和vendor.js过大
javascript·微信小程序·uni-app
ohMyGod_1237 小时前
React16,17,18,19新特性更新对比
前端·javascript·react.js
@大迁世界7 小时前
第1章 React组件开发基础
前端·javascript·react.js·前端框架·ecmascript
一瓣橙子7 小时前
7.7日 实验03-Spark批处理开发(2)
开发语言·javascript·ajax