系列文章目录
- 运维中心
4.1 功能概述
4.2 操作流程
4.2.1 操作流程概览
4.2.2 步骤一:查看周期任务配置
4.2.3 步骤二:测试周期任务
4.2.4 步骤三:周期任务补历史数据
4.2.5 步骤四:查看周期实例
4.2.6 步骤五:查看执行结果
4.2.7 步骤六:创建自定义监控规则
文章目录
- 系列文章目录
- 前言
-
- 运维中心
-
- 4.1 功能概述
- 4.2 操作流程
-
- 4.2.1 操作流程概览
- 4.2.2 步骤一:查看周期任务配置
- 4.2.3 步骤二:测试周期任务
- 4.2.4 步骤三:周期任务补历史数据
- 4.2.5 步骤四:查看周期实例
- 4.2.6 步骤五:查看执行结果
- 4.2.7 步骤六:创建自定义监控规则
前言
本文主要详解了DataWorks的数据运维,
后续章节:flink业务开发
4. 运维中心
4.1 功能概述
运维中心包括运维大屏、实时任务运维、周期任务运维、手动任务运维、智能监控、智能诊断、资源运维和引擎运维功能模块,为用户提供任务操作与状态、引擎、资源等多方位的运维能力。
4.2 操作流程
登录DataWorks控制台,单击左侧导航栏的数据建模与开发 > 运维中心,在下拉框中选择对应工作空间后单击进入运维中心。或者直接点击上方的运维中心进入。
4.2.1 操作流程概览
操作流程可以分为两个阶段:
阶段一:测试验证调度任务
步骤一:查看周期任务配置
为避免周期任务调度不符合预期,建议在任务发布后先检查周期任务配置的调度参数、调度资源组等是否正确。若不符合预期,请修改相应配置并重新发布。
步骤二:测试周期任务
通过冒烟测试功能验证周期任务在生产环境执行是否正确。若执行出错,请根据报错及时处理,保障任务可正常运行。
步骤三:周期任务补历史数据
通过补数据功能可重新计算历史时间段内的数据。
步骤四:查看周期实例
周期任务发布成功后会根据调度周期生成周期实例,如果在DataStudio中配置的实例生成方式为T+1次日生成,则任务将在第二天开始调度;如果配置为发布后即时生成,则任务当天便会调度。用户可查看调度实例的生成及运行情况,判断任务的周期调度是否正常。
步骤五:查看执行结果
节点执行测试或补数据操作后,用户可查看数据的写入情况。
阶段二:监控周期调度任务
步骤六:创建自定义监控规则
用户可根据业务需求,为周期调度任务配置智能监控规则,监控任务的调度运行状况,保障该任务后续可以正常调度。
步骤七:创建资源组自动运维规则
通过自定义独享资源组的监控规则,对独享资源组的使用率及资源组上等待的实例数设置监控报警,并进行相关运维操作。
4.2.2 步骤一:查看周期任务配置
为避免周期任务调度不符合预期,建议在任务发布后先查看该任务的配置(例如,任务的调度参数、节点依赖关系等)是否正确。
(1)进入运维中心。
(2)查找目标节点。
a.在左侧导航栏单击周期任务运维 > 周期任务。
b.在周期任务页面搜索目标节点。
(3)查看节点详情。
a.单击目标节点,进入节点DAG图。
b.单击展开详情,查看节点的详细信息。
本文示例在周期任务列表中,查找已发布的result_table节点,查看其调度参数、调度资源组配置是否正确。
另外,周期任务中还可以对任务进行其他管理。
4.2.3 步骤二:测试周期任务
通过对周期任务执行冒烟测试,验证该任务在生产环境的调度运行是否符合预期。该操作将真实执行代码逻辑。
注意:如果在数据开发环节进行了冒烟测试,这里可以跳过。
(1)进入冒烟测试
可以通过以下两种方式进入冒烟测试
方式一:在周期任务列表,单击目标任务操作列的测试。
方式二:在目标任务的DAG图,右键单击该任务,选择测试。
(2)配置任务测试运行的业务日期及运行时间,单击确定。
任务测试运行时会生成测试实例,用户可进入周期任务运维 > 测试实例页面查看实例的运行详情,判断其运行状况。
本文示例测试result_table节点的运行是否成功。
测试结果:
4.2.4 步骤三:周期任务补历史数据
周期任务开发完成并提交发布后,会按照调度配置定时运行。如果希望重新计算历史时间段内的数据,则可通过补数据功能实现。
(1)进入补数据。可通过如下两种方式进入补数据页面。
方式一:在周期任务列表,单击目标任务操作列的补数据。
方式二:在目标任务的DAG图,右键单击该任务,选择补数据。
(2)选择补数据模式。
可根据需求选择如下补数据模式:
(3)配置补数据参数。
根据业务需求配置补数据的业务日期、待补数据的节点等。
本文示例使用当前节点模式,对result_table节点补业务日期20231108~20231109时间段的数据。配置步骤参考下图。
点击确定后,可以在补数据实例中看到补数据实例。
4.2.5 步骤四:查看周期实例
周期任务发布成功后会根据调度周期生成周期实例,如果在DataStudio中配置的实例生成方式为T+1次日生成,则任务将在第二天开始调度;如果配置为发布后即时生成,则任务当天便会调度。用户可查看生成的周期实例,判断任务的调度运行是否正常。
(1)进入周期实例。
在运维中心左侧导航栏,单击周期任务运维 > 周期实例。
(2)查看周期实例。
根据周期任务的调度配置,查看该任务是否调度生成相应周期实例并运行正常。
若实例为未运行状态,建议进行如下处理:
找到未运行的节点,然后右键展开父节点,然后选择层数(可以选择最多的层数)。此时可以看到上游所有依赖的节点,看一下具体哪一个报错了或者没有运行导致该节点没有运行。
4.2.6 步骤五:查看执行结果
周期任务进行测试或补数据后,除了在临时查询中使用sql查询数据外,还可以进入数据地图查看。在数据地图查询目标表,通过查看表详情确认数据写入是否正确。
进入数据地图,搜索result_table,然后点击表进去
即可以看表的元数据信息,以及进行数据预览
注意:
(1)RAM用户默认无MaxCompute引擎中生产表的查询权限。用户可进入数据地图,在表的详情页申请该表权限。详情请参见申请表权限。
(2)在使用临时查询时,默认是开发环境的表,如果需要查询生产环境的表需要加上项目名。
set odps.sql.allow.fullscan=true;
select * from dwhmcx.result_table;
4.2.7 步骤六:创建自定义监控规则
节点测试验证无误后,可为节点自定义监控规则,监控节点运行状态。当节点运行出错时DataWorks会根据配置发送相应报警,以便用户及时发现并处理异常,保障节点日后可正常调度。
(1)在左侧导航栏单击智能监控 > 规则管理。
(2)新建自定义规则。
单击新建自定义规则。
配置规则信息。
可根据业务需求,自定义所需规则。
在配置规则时,可以为单个任务节点配置,也可以为基线或工作空间或业务流程或资源组配置,配置详情请参见规则管理。
通常用的有基线管理和工作空间和业务流程,在这里,以工作空间为例进行学习。
规则名称设置为工作空间监控
对象类型设置为工作空间
规则对象选择dwhmcx,并添加
触发条件也有多种选择,这里选择出错
报警方式选择短信
接收人勾选任务责任人以及相关开发人员
配置完成后点击确认
常见问题:
https://help.aliyun.com/zh/dataworks/support/faq-9/?spm=a2c4g.11186623.0.0.40f627f7ms4p5i