Azure Data Factory (ADF)‌ 之databricks使用

目录

一、背景

二、实操

1.传变量

2.传参数


一、背景

实现目标:adf变量及参数传送到databricks使用

二、实操

1.传变量

(1).adf里新建管道,新建【设置变量】

示例:

设置管道变量

biz_date:@{addDays(convertFromUtc(utcNow(), 'China Standard Time'),-1,'yyyyMMdd')}

biz_date_new:@{addDays(convertFromUtc(utcNow(), 'China Standard Time'),-1,'yyyy-MM-dd')}

(2).插入【笔记本】

配置服务

设置中添加笔记本路径

配置基参数

biz_date:@variables('biz_date)

biz_date_new::@variables('biz_date_new')

databricks【笔记本】-【sql】组件中直接使用变量即可

sql 复制代码
select '${biz_date}';
select '${biz_date_new}'

2.传参数

新建参数

新建notebook

配置服务

设置笔记本路径

设置基参数

biz_date:@pipeline().parameters.biz_date

databricks【笔记本】-【python】组件使用参数

python 复制代码
# 1. 接收来自 ADF 的变量
biz_date = dbutils.widgets.get("biz_date")

# 2. 
sql_query = f"""
    SELECT count(*) as total_count 
    FROM table_name
    WHERE biz_date = '{biz_date}' 
"""

# 3. 执行 SQL 并获取结果
# .collect()[0][0] 表示取第一行第一列的值
result_df = spark.sql(sql_query)
count_value = result_df.collect()[0][0]

# 4. 返回给 ADF
dbutils.notebook.exit(str(count_value))
相关推荐
皮皮林5517 分钟前
京东又开源一款新框架,用起来真优雅!
后端
学长毕设21 分钟前
基于SpringBoot智慧养老服务平台设计与实现-附源码
java·spring boot·后端
学无止境小袁同学3 小时前
Google ADK 学习指南
python·llm·agent·多agent·google adk·llmagent·agent cli
郝学胜-神的一滴3 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
行百里er3 小时前
【Spring Insight 技术分享】跨服务调用链路是怎么串起来的?
后端·spring·开源
火山引擎和TA的超级拍档们3 小时前
产品情报局 11 | AI 数据湖 LAS:打造大模型时代多模态数据底座
前端·后端
源动力技术栈4 小时前
C# 集合类型全览:从 List<T> 到 FrozenDictionary,配一组实测数据
后端
aleimu4 小时前
Windows 11 右键打开 Cmder 2.0:从找不到菜单到默认使用 Cmder
前端·人工智能·后端
LK_074 小时前
【力扣】142. 环形链表 II |Python
python·leetcode·链表
wuyk5554 小时前
Python办公自动化-第02讲-Excel文件认知与四大库选型
开发语言·python·excel