Flink-DataWorks第六部分:数据运维(第62天)

系列文章目录

  1. 运维中心
    4.1 功能概述
    4.2 操作流程
    4.2.1 操作流程概览
    4.2.2 步骤一:查看周期任务配置
    4.2.3 步骤二:测试周期任务
    4.2.4 步骤三:周期任务补历史数据
    4.2.5 步骤四:查看周期实例
    4.2.6 步骤五:查看执行结果
    4.2.7 步骤六:创建自定义监控规则

文章目录

  • 系列文章目录
  • 前言
    1. 运维中心
    • 4.1 功能概述
    • 4.2 操作流程
      • 4.2.1 操作流程概览
      • 4.2.2 步骤一:查看周期任务配置
      • 4.2.3 步骤二:测试周期任务
      • 4.2.4 步骤三:周期任务补历史数据
      • 4.2.5 步骤四:查看周期实例
      • 4.2.6 步骤五:查看执行结果
      • 4.2.7 步骤六:创建自定义监控规则

前言

本文主要详解了DataWorks的数据运维,

后续章节:flink业务开发

4. 运维中心

4.1 功能概述

运维中心包括运维大屏、实时任务运维、周期任务运维、手动任务运维、智能监控、智能诊断、资源运维和引擎运维功能模块,为用户提供任务操作与状态、引擎、资源等多方位的运维能力。


4.2 操作流程

登录DataWorks控制台,单击左侧导航栏的数据建模与开发 > 运维中心,在下拉框中选择对应工作空间后单击进入运维中心。或者直接点击上方的运维中心进入。

4.2.1 操作流程概览

操作流程可以分为两个阶段:

阶段一:测试验证调度任务

步骤一:查看周期任务配置

为避免周期任务调度不符合预期,建议在任务发布后先检查周期任务配置的调度参数、调度资源组等是否正确。若不符合预期,请修改相应配置并重新发布。

步骤二:测试周期任务

通过冒烟测试功能验证周期任务在生产环境执行是否正确。若执行出错,请根据报错及时处理,保障任务可正常运行。

步骤三:周期任务补历史数据

通过补数据功能可重新计算历史时间段内的数据。

步骤四:查看周期实例

周期任务发布成功后会根据调度周期生成周期实例,如果在DataStudio中配置的实例生成方式为T+1次日生成,则任务将在第二天开始调度;如果配置为发布后即时生成,则任务当天便会调度。用户可查看调度实例的生成及运行情况,判断任务的周期调度是否正常。

步骤五:查看执行结果

节点执行测试或补数据操作后,用户可查看数据的写入情况。

阶段二:监控周期调度任务

步骤六:创建自定义监控规则

用户可根据业务需求,为周期调度任务配置智能监控规则,监控任务的调度运行状况,保障该任务后续可以正常调度。

步骤七:创建资源组自动运维规则

通过自定义独享资源组的监控规则,对独享资源组的使用率及资源组上等待的实例数设置监控报警,并进行相关运维操作。

4.2.2 步骤一:查看周期任务配置

为避免周期任务调度不符合预期,建议在任务发布后先查看该任务的配置(例如,任务的调度参数、节点依赖关系等)是否正确。

(1)进入运维中心。

(2)查找目标节点。

a.在左侧导航栏单击周期任务运维 > 周期任务。

b.在周期任务页面搜索目标节点。

(3)查看节点详情。

a.单击目标节点,进入节点DAG图。

b.单击展开详情,查看节点的详细信息。

本文示例在周期任务列表中,查找已发布的result_table节点,查看其调度参数、调度资源组配置是否正确。

另外,周期任务中还可以对任务进行其他管理。




4.2.3 步骤二:测试周期任务

通过对周期任务执行冒烟测试,验证该任务在生产环境的调度运行是否符合预期。该操作将真实执行代码逻辑。

注意:如果在数据开发环节进行了冒烟测试,这里可以跳过。

(1)进入冒烟测试

可以通过以下两种方式进入冒烟测试

 方式一:在周期任务列表,单击目标任务操作列的测试。

 方式二:在目标任务的DAG图,右键单击该任务,选择测试。

(2)配置任务测试运行的业务日期及运行时间,单击确定。

任务测试运行时会生成测试实例,用户可进入周期任务运维 > 测试实例页面查看实例的运行详情,判断其运行状况。

本文示例测试result_table节点的运行是否成功。

测试结果:

4.2.4 步骤三:周期任务补历史数据

周期任务开发完成并提交发布后,会按照调度配置定时运行。如果希望重新计算历史时间段内的数据,则可通过补数据功能实现。

(1)进入补数据。可通过如下两种方式进入补数据页面。

 方式一:在周期任务列表,单击目标任务操作列的补数据。

 方式二:在目标任务的DAG图,右键单击该任务,选择补数据。

(2)选择补数据模式。

可根据需求选择如下补数据模式:

(3)配置补数据参数。

根据业务需求配置补数据的业务日期、待补数据的节点等。

本文示例使用当前节点模式,对result_table节点补业务日期20231108~20231109时间段的数据。配置步骤参考下图。

点击确定后,可以在补数据实例中看到补数据实例。

4.2.5 步骤四:查看周期实例

周期任务发布成功后会根据调度周期生成周期实例,如果在DataStudio中配置的实例生成方式为T+1次日生成,则任务将在第二天开始调度;如果配置为发布后即时生成,则任务当天便会调度。用户可查看生成的周期实例,判断任务的调度运行是否正常。

(1)进入周期实例。

在运维中心左侧导航栏,单击周期任务运维 > 周期实例。

(2)查看周期实例。

根据周期任务的调度配置,查看该任务是否调度生成相应周期实例并运行正常。

若实例为未运行状态,建议进行如下处理:

找到未运行的节点,然后右键展开父节点,然后选择层数(可以选择最多的层数)。此时可以看到上游所有依赖的节点,看一下具体哪一个报错了或者没有运行导致该节点没有运行。

4.2.6 步骤五:查看执行结果

周期任务进行测试或补数据后,除了在临时查询中使用sql查询数据外,还可以进入数据地图查看。在数据地图查询目标表,通过查看表详情确认数据写入是否正确。

进入数据地图,搜索result_table,然后点击表进去

即可以看表的元数据信息,以及进行数据预览

注意:

(1)RAM用户默认无MaxCompute引擎中生产表的查询权限。用户可进入数据地图,在表的详情页申请该表权限。详情请参见申请表权限。

(2)在使用临时查询时,默认是开发环境的表,如果需要查询生产环境的表需要加上项目名。

set odps.sql.allow.fullscan=true;

select * from dwhmcx.result_table;

4.2.7 步骤六:创建自定义监控规则

节点测试验证无误后,可为节点自定义监控规则,监控节点运行状态。当节点运行出错时DataWorks会根据配置发送相应报警,以便用户及时发现并处理异常,保障节点日后可正常调度。

(1)在左侧导航栏单击智能监控 > 规则管理。

(2)新建自定义规则。

 单击新建自定义规则。

 配置规则信息。

可根据业务需求,自定义所需规则。

在配置规则时,可以为单个任务节点配置,也可以为基线或工作空间或业务流程或资源组配置,配置详情请参见规则管理。

通常用的有基线管理和工作空间和业务流程,在这里,以工作空间为例进行学习。

 规则名称设置为工作空间监控

 对象类型设置为工作空间

 规则对象选择dwhmcx,并添加

 触发条件也有多种选择,这里选择出错

 报警方式选择短信

 接收人勾选任务责任人以及相关开发人员

 配置完成后点击确认

常见问题:

https://help.aliyun.com/zh/dataworks/support/faq-9/?spm=a2c4g.11186623.0.0.40f627f7ms4p5i
相关推荐
W Y12 分钟前
【架构-37】Spark和Flink
架构·flink·spark
ycsdn1015 分钟前
Caused by: org.apache.flink.api.common.io.ParseException: Row too short:
大数据·flink
pk_xz1234562 小时前
Shell 脚本中变量和字符串的入门介绍
linux·运维·服务器
小珑也要变强2 小时前
Linux之sed命令详解
linux·运维·服务器
瓜牛_gn2 小时前
mysql特性
数据库·mysql
奶糖趣多多3 小时前
Redis知识点
数据库·redis·缓存
Lary_Rock4 小时前
RK3576 LINUX RKNN SDK 测试
linux·运维·服务器
CoderIsArt4 小时前
Redis的三种模式:主从模式,哨兵与集群模式
数据库·redis·缓存
师太,答应老衲吧6 小时前
SQL实战训练之,力扣:2020. 无流量的帐户数(递归)
数据库·sql·leetcode
Channing Lewis7 小时前
salesforce case可以新建一个roll up 字段,统计出这个case下的email数量吗
数据库·salesforce