目录
一、介绍
Azure Data Factory 是微软 Azure 提供的完全托管云数据集成服务 ，主要用于自动化数据移动与转换（ETL/ELT），帮助用户构建数据驱动的工作流以整合来自不同源的数据 。
简介资料：
https://learn.microsoft.com/zh-tw/azure/data-factory/introduction
二、实践
1.设置变量
昨日yyyyMMdd格式：
@{addDays(convertFromUtc(utcNow(), 'China Standard Time'),-1,'yyyyMMdd')}
昨日yyyy-MM-dd格式：
@{addDays(convertFromUtc(utcNow(), 'China Standard Time'),-1,'yyyy-MM-dd')}
2.使用变量
在hive sql中引用时为 biz_date= '${hiveconf:biz_date}'
在hive组件-高级配置/复制数据组件中: 名称： biz_date ；值：@{variables('biz_date')}
3.配置数据集
hive数据集
azure blob数据集
4.复制数据
5.监控管道
配置执行管道为想监控的管道任务，配置通知的web,选择失败时执行将其连接在一起。
1.配置管道
2.配置web
URL： https://open.feishu.cn/open-apis/bot/v2/hook/xxx（以飞书为例）
方法：POST
正文：
bash
{
"msg_type":"text",
"content":{
"text":"【异常告警😫😫😫】\n pipelineRunId：@{activity('管道名称').output.pipelineRunId} \n pipelineName：@{activity('管道名称').output.pipelineName} \n ADF任务失败，请尽快前往数据工厂查看详细日志。"
}
}