Azure ADF(Azure Data Factory 数据工厂)学习

目录

一、介绍

二、实践

1.设置变量

2.使用变量

3.配置数据集

4.复制数据

5.监控管道

1.配置管道

2.配置web


一、介绍

Azure Data Factory 是微软 Azure 提供的‌完全托管云数据集成服务 ‌,主要用于‌自动化数据移动与转换‌(ETL/ELT),帮助用户构建数据驱动的工作流以整合来自不同源的数据 。

简介资料:

https://learn.microsoft.com/zh-tw/azure/data-factory/introduction

二、实践

1.设置变量

昨日yyyyMMdd格式:

@{addDays(convertFromUtc(utcNow(), 'China Standard Time'),-1,'yyyyMMdd')}

昨日yyyy-MM-dd格式:

@{addDays(convertFromUtc(utcNow(), 'China Standard Time'),-1,'yyyy-MM-dd')}

2.使用变量

在hive sql中引用时为 biz_date= '${hiveconf:biz_date}'

在hive组件-高级配置/复制数据组件中: 名称: biz_date ;值:@{variables('biz_date')}

3.配置数据集

hive数据集

azure blob数据集

4.复制数据

5.监控管道

配置执行管道为想监控的管道任务,配置通知的web,选择失败时执行将其连接在一起。

1.配置管道

2.配置web

URL: https://open.feishu.cn/open-apis/bot/v2/hook/xxx(以飞书为例)

方法:POST

正文:

bash 复制代码
{
    "msg_type":"text",
    "content":{
        "text":"【异常告警😫😫😫】\n pipelineRunId:@{activity('管道名称').output.pipelineRunId} \n pipelineName:@{activity('管道名称').output.pipelineName} \n ADF任务失败,请尽快前往数据工厂查看详细日志。"
    }
}
相关推荐
电科_银尘18 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
QuZhengRong19 小时前
【AI】Agent 全栈进阶|AgentScope 沙箱源码解析
python·学习·ai·agent·沙箱
承渊政道1 天前
【Python编程—从入门到实践】(用户账户:给Django网站装上登录系统,让每个人拥有自己的学习笔记)
python·学习·pycharm·django
诗句藏于尽头1 天前
游戏《完美神话》-使用Ai-agent进行修复已停服游戏到本地成功部署以及GM端网页完整教程
人工智能·学习·游戏
希和20271 天前
51 单片机学习笔记:LCD1602、独立按键、I2C 与 AT24C02 掉电存储(江科大课程小白笔记)
笔记·单片机·学习
承渊政道1 天前
【Python编程—从入门到实践】(设置样式并部署:给Django网站换新装,把学习笔记发布到互联网)
python·学习·pycharm·django
~kiss~2 天前
A Survey of On-Policy Distillation for LLMs 学习(一)
学习
小杨小杨、努力变强!2 天前
python学习笔记
笔记·学习
Star(up up up)2 天前
Redis Windows 安装教程:使用Windows 的 Redis 压缩包
redis·笔记·学习·程序人生·云原生·学习方法·改行学it
乌暮2 天前
Spring AOP 与 Spring 事务:用大白话彻底理解原理与实践
java·数据库·spring boot·后端·sql·学习·spring