在对MaxCompute作业运维过程中,会面临类似的情况: 一条 SQL 失败了,需打开日志查错误日志判断报错原因;另一条 SQL 没有报错,却迟迟跑不完,需打开日志、查看资源使用情况等方面综合判断原因 ;等处理完这两条,还会担心项目是否还有其他异常没有发现。
作业运维的难点,不只是看懂一次报错,而是在单作业与项目、quota之间来回切换:这条为什么失败?其他作业是否受到影响?慢在哪里?哪些问题应该优先处理?明天还要不要重新检查一遍?
MaxAgent 可以把这些工作串起来。用 Instance ID 或 SQL LogView 定位单作业问题,用作业巡检了解整体运行态势,再把已经核验过的巡检方法配置为定时任务,通过钉钉接收报告。从被动排障到周期发现,关键是每一步都保留可回查的证据。
上一课介绍了开通、权限和 Credits。本课面向数据开发工程师与运维工程师,依次完成失败诊断、同类异常核查、慢作业分析、项目健康巡检,以及定时巡检配置。数据开发可以先练单作业诊断,运维再接着扩大范围;兼任两个角色,也可以沿这条路径独立完成。
作业诊断、作业巡检权限准备
进入 MaxAgent,确认服务已开通、Credits 可用,当前身份有目标项目及日志的访问权限,并核对当前站点、地域、租户和版本是否开放本课所需能力。本文使用作业诊断与巡检,当前诊断与 LogView 解读范围为 SQL 作业,不扩展到 Spark 或 MapReduce/MF。
项目及日志访问权限主要包含如下Ram权限点,涉及logivew访问权限以及更深层日志读取权限:
plain
odps:TriggerSQLJobDiagnosis
odps:GetSQLJobDiagnosis
odps:GetLogviewDownloadUrl
odps:GetTaskType
odps:GetMatrixByParserTypeAndId
odps:ListSimilarJobInfos
odps:CheckMcpJobPermission
odps:CheckMcpQuotaPermission
odps:EstimateJobCost
odps:CheckMcpJobPermission
odps:GetMatrixByParserTypeAndId
odps:GetErrorMsg
odps:GetLogviewTableDownloadUrl
odps:CheckMcpQuotaPermission
odps:ListJobInfos
odps:GetJobCount
odps:ListJobMetric
odps:ListTopJobInfo
odps:ListJobSnapshotInfos
odps:ListTopJobInfo
odps:GetJobInfo
odps:GetJobCount
odps:ListJobMetric
单作业诊断------定位失败 SQL 的根因
SQL作业失败,通常会打开logview进行查看,logivew的error log会打出相应的错误信息,简单的错误如语法错误、元数据不存在等会比较容易定位,但有些失败无法从错误日志快速判断。
可以点击Logview页面右上角的的"MaxAgent作业诊断"进入MaxAgent的Ops Agent进行单作业诊断,或者直接进入MaxCompute控制台-智能助手-OpsAgent,提交新任务进行单作业诊断:
提交诊断任务时,需要注意,准确描述想了解什么,或要解决什么问题,避免过于模糊,关键词包含项目、作业 ID 或LogView 地址。
单作业诊断------深度诊断SQL找到慢作业瓶颈
失败是显性异常,"运行成功但比平时慢很多"也可能影响下游任务,或者"业务逻辑简单但一直运行很慢"影响整体基线性能。
慢作业的诊断,需要从多方面入手,可能是数据倾斜、膨胀,又或者是资源不足,还有可能是平台调度机制等原因。可以通过MaxAgent的OpsAgent进行作业深度诊断根因,获取修改建议,包括sql改写建议:
明确慢作业所在项目和作业ID,要求分析耗时异常和资源消耗等情况,给出问题定位和修复建议包括sql改写。
视频案例中,作业执行慢主要两个原因,查询加速会退回退、极端单点热点(数据倾斜),同时把具体的引发热点的具体sql一并给出来,并针对两个问题点,分别给了对应的修复建议。另外由于诊断任务中明确提到要给出sql改写建议,因此也给除了sql改写建议,需要注意的是,sql改写建议可能存在业务逻辑变更,建议是否可用,需要仔细验证。
作业巡检------做一次所有作业运行态势巡检
通常情况下,不管是失败作业还是慢作业,都是影响一条或多条基线,进行作业运维是,都需要从整体去查看作业的执行情况,也就是健康巡检要再扩大一步:除了失败,还要关注成功但异常慢、资源消耗异常,以及需要优先跟进的作业。
开发运维人员凌晨起夜通过单作业诊断解决完告警的作业,还想了解所有作业运行情况,可以通过MaxAgent 的OpsAgent进行作业统一巡检:
关键字说明清楚巡检范围和要求,以及输出的巡检报告要求,如下:
markdown
请对以下项目执行作业巡检:
【巡检范围】
项目:所有项目
时间范围:今日0点 至 9:00
【巡检要求】
1)统计作业整体运行态势:总作业数、成功率、失败率、平均执行时长。
2)识别异常作业,包括:
状态异常:失败作业(inst_status=failed)、取消作业(inst_status=cancelled)
性能异常:执行时间偏离基线的慢作业
资源异常:CU 使用量或内存使用量偏离基线的作业
3)对所有异常作业进行诊断并给出异常原因和优化建议,输出结构化巡检报告。
输出格式要求: 按照标准巡检报告模版输出,包含概览、异常列表、异常原因、诊断结果、优化建议等部分,其中异常列表中的作业 instance id 可以链接打开 LogView。
返回的巡检报告,对于异常作业,可按需下钻进行单作业诊断,以便获取单作业更详细的异常原因以及修复/优化建议。
作业巡检------把异常作业巡检变成定时任务
一次巡检的范围、输出和核验方法稳定后,您可以把它配置为周期任务。周期作业巡检的目标不是让系统自动修复所有问题,而是定期发现线索、生成报告,再交给有权限的人员判断和处置。
可以通过MaxAgent配置定时任务定时进行作业巡检,例如"每日异常作业巡检",您可以直接通过点击模版广场的模版快速创建,也可以自己点击"新建定时任务"创建。


创建好后,可以点击"立即执行"进行一次定时任务验证。验证通过后,后续定时任务将按计划时间进行定时执行。

您还可以在配置定时任务的时候,配置"通知渠道",将定时任务的报告通过机器人渠道推送到钉钉个人或群里,无需登陆到控制台web页面即可通过钉钉接收巡检报告。
下一步:做一次作业巡检并对异常作业进行深入诊断
从一个有权限的测试项目开始,核验项目中最近24小时作业执行态势,对执行失败、异常变慢的作业进行单作业深度诊断。
注意,MaxAgent 帮助你更快发现和分析问题,但修复、优化与生产变更仍要经过授权和独立验证。