yarn任务筛选spark任务,判断内存/CPU使用超过限制任务

yarn任务筛选spark任务,判断内存/CPU使用超过限制任务

curl -s "http://it-cdh-node01:8088/ws/v1/cluster/apps?states=RUNNING" | jq '.apps.app | map(select(.applicationType == "SPARK" ) | select(.allocatedMB >= 102400 or .allocatedVCores >= 50) | { id, name, allocatedMB, allocatedVCores, elapsedTime })' >> /data03/jq/sparkjoblog

curl -s "http://it-cdh-node01:8088/ws/v1/cluster/apps?states=RUNNING" | jq '.apps.app | map(select(.applicationType == "SPARK" ) | select(.allocatedMB >= 102400 or .allocatedVCores >= 50) | { id, name, allocatedMB, allocatedVCores })'

curl -s "http://it-cdh-node01:8088/ws/v1/cluster/apps?states=RUNNING" | jq 'select(.apps.app[].applicationType = "SPARK") | .apps.app[].id' | xargs -I {} curl -s "http://it-cdh-node01:8088/ws/v1/cluster/apps/{}" | jq 'select(.app.allocatedMB >= 102400 or .app.allocatedVCores >= 50) | .app.id, .app.name, .app.allocatedMB, .app.allocatedVCores'

相关推荐
武子康4 分钟前
大数据-101 Spark Streaming 有状态转换详解:窗口操作与状态跟踪实战 附多案例代码
大数据·后端·spark
子兮曰10 分钟前
🚀前端依赖配置避坑指南:深度解析package.json中devDependencies的常见误解
前端·javascript·npm
forever_Mamba12 分钟前
实现一个高性能倒计时:从踩坑到最佳实践
前端·javascript
小帆聊前端13 分钟前
JS 原型链深度解读:从混乱到通透,掌握 90% 前端面试核心
javascript
子兮曰13 分钟前
浏览器与 Node.js 全局变量体系详解:从 window 到 global 的核心差异
前端·javascript·node.js
召摇15 分钟前
API 设计最佳实践 Javascript 篇
前端·javascript·vue.js
小桥风满袖21 分钟前
极简三分钟ES6 - ES9中Promise扩展
前端·javascript
Mintopia22 分钟前
🧑‍💻 用 Next.js 打造全栈项目的 ESLint + Prettier 配置指南
前端·javascript·next.js
Mintopia31 分钟前
🤖 微服务架构下 WebAI 服务的高可用技术设计
前端·javascript·aigc
江城开朗的豌豆1 小时前
React 跨级组件通信:避开 Context 的那些坑,我还有更好的选择!
前端·javascript·react.js