MaxAgent 实战课堂(二):从单作业诊断到作业定时巡检

在对MaxCompute作业运维过程中,会面临类似的情况: 一条 SQL 失败了,需打开日志查错误日志判断报错原因;另一条 SQL 没有报错,却迟迟跑不完,需打开日志、查看资源使用情况等方面综合判断原因 ;等处理完这两条,还会担心项目是否还有其他异常没有发现。

作业运维的难点,不只是看懂一次报错,而是在单作业与项目、quota之间来回切换:这条为什么失败?其他作业是否受到影响?慢在哪里?哪些问题应该优先处理?明天还要不要重新检查一遍?

MaxAgent 可以把这些工作串起来。用 Instance ID 或 SQL LogView 定位单作业问题,用作业巡检了解整体运行态势,再把已经核验过的巡检方法配置为定时任务,通过钉钉接收报告。从被动排障到周期发现,关键是每一步都保留可回查的证据。

上一课介绍了开通、权限和 Credits。本课面向数据开发工程师与运维工程师,依次完成失败诊断、同类异常核查、慢作业分析、项目健康巡检,以及定时巡检配置。数据开发可以先练单作业诊断,运维再接着扩大范围;兼任两个角色,也可以沿这条路径独立完成。

作业诊断、作业巡检权限准备

进入 MaxAgent,确认服务已开通、Credits 可用,当前身份有目标项目及日志的访问权限,并核对当前站点、地域、租户和版本是否开放本课所需能力。本文使用作业诊断与巡检,当前诊断与 LogView 解读范围为 SQL 作业,不扩展到 Spark 或 MapReduce/MF。

项目及日志访问权限主要包含如下Ram权限点,涉及logivew访问权限以及更深层日志读取权限:

plain 复制代码
odps:TriggerSQLJobDiagnosis
odps:GetSQLJobDiagnosis

odps:GetLogviewDownloadUrl

odps:GetTaskType
odps:GetMatrixByParserTypeAndId
odps:ListSimilarJobInfos
odps:CheckMcpJobPermission
odps:CheckMcpQuotaPermission

odps:EstimateJobCost

odps:CheckMcpJobPermission
odps:GetMatrixByParserTypeAndId

odps:GetErrorMsg
odps:GetLogviewTableDownloadUrl
odps:CheckMcpQuotaPermission

odps:ListJobInfos
odps:GetJobCount
odps:ListJobMetric
odps:ListTopJobInfo
odps:ListJobSnapshotInfos

odps:ListTopJobInfo
odps:GetJobInfo
odps:GetJobCount
odps:ListJobMetric

单作业诊断------定位失败 SQL 的根因

SQL作业失败,通常会打开logview进行查看,logivew的error log会打出相应的错误信息,简单的错误如语法错误、元数据不存在等会比较容易定位,但有些失败无法从错误日志快速判断。

可以点击Logview页面右上角的的"MaxAgent作业诊断"进入MaxAgent的Ops Agent进行单作业诊断,或者直接进入MaxCompute控制台-智能助手-OpsAgent,提交新任务进行单作业诊断:

查看视频 >>

提交诊断任务时,需要注意,准确描述想了解什么,或要解决什么问题,避免过于模糊,关键词包含项目、作业 ID 或LogView 地址。

单作业诊断------深度诊断SQL找到慢作业瓶颈

失败是显性异常,"运行成功但比平时慢很多"也可能影响下游任务,或者"业务逻辑简单但一直运行很慢"影响整体基线性能。

慢作业的诊断,需要从多方面入手,可能是数据倾斜、膨胀,又或者是资源不足,还有可能是平台调度机制等原因。可以通过MaxAgent的OpsAgent进行作业深度诊断根因,获取修改建议,包括sql改写建议:

查看视频 >>

明确慢作业所在项目和作业ID,要求分析耗时异常和资源消耗等情况,给出问题定位和修复建议包括sql改写。

视频案例中,作业执行慢主要两个原因,查询加速会退回退、极端单点热点(数据倾斜),同时把具体的引发热点的具体sql一并给出来,并针对两个问题点,分别给了对应的修复建议。另外由于诊断任务中明确提到要给出sql改写建议,因此也给除了sql改写建议,需要注意的是,sql改写建议可能存在业务逻辑变更,建议是否可用,需要仔细验证。

作业巡检------做一次所有作业运行态势巡检

通常情况下,不管是失败作业还是慢作业,都是影响一条或多条基线,进行作业运维是,都需要从整体去查看作业的执行情况,也就是健康巡检要再扩大一步:除了失败,还要关注成功但异常慢、资源消耗异常,以及需要优先跟进的作业。

开发运维人员凌晨起夜通过单作业诊断解决完告警的作业,还想了解所有作业运行情况,可以通过MaxAgent 的OpsAgent进行作业统一巡检:

查看视频 >>

关键字说明清楚巡检范围和要求,以及输出的巡检报告要求,如下:

markdown 复制代码
请对以下项目执行作业巡检: 
【巡检范围】 
项目:所有项目
时间范围:今日0点 至 9:00
【巡检要求】
1)统计作业整体运行态势:总作业数、成功率、失败率、平均执行时长。
2)识别异常作业,包括:
  状态异常:失败作业(inst_status=failed)、取消作业(inst_status=cancelled)
  性能异常:执行时间偏离基线的慢作业
  资源异常:CU 使用量或内存使用量偏离基线的作业
3)对所有异常作业进行诊断并给出异常原因和优化建议,输出结构化巡检报告。
输出格式要求: 按照标准巡检报告模版输出,包含概览、异常列表、异常原因、诊断结果、优化建议等部分,其中异常列表中的作业 instance id 可以链接打开 LogView。

返回的巡检报告,对于异常作业,可按需下钻进行单作业诊断,以便获取单作业更详细的异常原因以及修复/优化建议。

作业巡检------把异常作业巡检变成定时任务

一次巡检的范围、输出和核验方法稳定后,您可以把它配置为周期任务。周期作业巡检的目标不是让系统自动修复所有问题,而是定期发现线索、生成报告,再交给有权限的人员判断和处置。

可以通过MaxAgent配置定时任务定时进行作业巡检,例如"每日异常作业巡检",您可以直接通过点击模版广场的模版快速创建,也可以自己点击"新建定时任务"创建。

创建好后,可以点击"立即执行"进行一次定时任务验证。验证通过后,后续定时任务将按计划时间进行定时执行。

您还可以在配置定时任务的时候,配置"通知渠道",将定时任务的报告通过机器人渠道推送到钉钉个人或群里,无需登陆到控制台web页面即可通过钉钉接收巡检报告。

下一步:做一次作业巡检并对异常作业进行深入诊断

从一个有权限的测试项目开始,核验项目中最近24小时作业执行态势,对执行失败、异常变慢的作业进行单作业深度诊断。

注意,MaxAgent 帮助你更快发现和分析问题,但修复、优化与生产变更仍要经过授权和独立验证。

相关推荐
泯泷24 分钟前
给你一个免费的20人 AI 团队,你的胜算真的变大了吗?
人工智能·llm
一起学安全技术26 分钟前
拆大模型 10|结构化输出:让模型返回数据,而不是一段话
人工智能·语言模型·json
wy_hhxx31 分钟前
《Agent设计模式 图解可复用智能体架构》下篇内容整理
人工智能·ai agent
SelectDB36 分钟前
什么是 AI Agent 数据库?四类数据角色、核心能力与数据库选型指南
人工智能
电科_银尘1 小时前
【大模型算法与工程 09】SGD、Momentum与AdamW:优化器如何选择
人工智能·算法
羲云网络1 小时前
GPT Image 2.6 商品图交付:用文件指纹排查错图、覆盖与版本串线
图像处理·人工智能·python·技术教程·文件校验
jianqiang.xue1 小时前
1颗NPU分时复用:鸿蒙把轻AI塞进了MCU
人工智能·单片机·mcu·嵌入式·harmonyos·鸿蒙·端侧ai
前端的阶梯1 小时前
AI Agent 之 工具(Tool)
人工智能
孟健1 小时前
用 HyperFrames 解决前端视频生成难题:国产 Flash 模型实测 3 条 1080p 视频
前端·人工智能·开源