【Azure 架构师学习笔记】- Azure Databricks (4) - 使用Azure Key Vault 管理ADB Secret

本文属于【Azure 架构师学习笔记】系列

本文属于【Azure Databricks】系列。

接上文 【Azure 架构师学习笔记】- Azure Databricks (3) - 再次认识DataBricks

前言

Azure Databricks有access token,是具有ADB内部最高权限的token。在云环境中这些高级别权限的secret都需要很好地被保护起来。

ADB提供了两种Secret Scopes:

  • Azure Key Vault-backed: secret 存储在Azure Key Vault, ADB 通过创建于AKV支持的Secret Sope来实现引用Secret。
  • Databricks-backed:Databricks自带有一个数据库,也可以通过存储在这个数据库来引用secret。 这种scope的好处在于可以不依赖于具体平台的设置, 在迁移过程中起到比较大的便利作用。

创建Key Vault和Secret

简单创建一个KV:

这里使用默认配置即可:

这里使用"Vault access policy"而不用RBAC, 虽然RBAC是推荐选项。

创建成功后,要记录好DNS 名字(也就是Vault URI)和Resource ID, 这个在后续步骤中需要使用。

创建Key Vault Secret


在Databricks中创建Azure Key Vault Secret Scope

进入ADB 之后,复制URL, 即下方蓝色部分,并用它替换成这样格式:https://<Databricks_url>#secrets/createScope

但是注意是大小写敏感,比如Scope的S必须是大写。如下图

填写信息并创建,创建完毕后ADB即可连接到这个Key Vault了。下面的Creator意味着只有创建者能用,而all users意味着这个workspace下的用户都能用。正式环境下需要根据ADB 的使用情况决定。

在Notebook中使用Azure Key Vault Secret Scope和Secret

接下来试一下如何使用这个Secret Scope进行访问,我们进入ADB,创建一个notebook。

根据上面的信息,输入下面的Pyhon代码并执行:

python 复制代码
dbutils.secrets.get(scope = "akv_secret_scope_test", key = "adlsaccesskey") 

#azurekeyvault_secret_scope --> Azure Key Vault based scope which we created in Databricks 
#BlobStorageAccessKey --> Secret name which we created in Azure Key Vault 

如果出现[REDACTED]那么意味着成功访问。

我们也可以在notebook里面执行下面命令来查看当前已经创建了的secretscope:

python 复制代码
dbutils.secrets.listScopes()
相关推荐
营赢盈英8 小时前
Allow anonymous access to my Azure OpenAI chat bot
ai·openai·azure·webapps
AI人工智能集结号5 天前
使用您自己的图像微调 FLUX.1 LORA 并使用 Azure 机器学习进行部署
机器学习·flask·azure
AI人工智能集结号5 天前
使用 Azure 机器学习微调小型语言模型 (SLM) Phi-3
机器学习·语言模型·azure
NineData6 天前
K1计划100%收购 MariaDB; TDSQL成为腾讯云核心战略产品; Oracle@AWS/Google/Azure发布
数据库·oracle·腾讯云·mariadb·azure·amazon·tdsql
SteveMiller7 天前
使用Azure+C#+visual studio开发图像目标检测系统
c#·azure·visual studio
晨曦_子画7 天前
跨平台集成:在 AI、微服务和 Azure 云之间实现无缝工作流
人工智能·微服务·azure
营赢盈英7 天前
Azure web app has no access to openai private endpoint in virtual network
azure·openai api·web app·webapp·webapps·virtual network
营赢盈英9 天前
Azure OpenAI models being unable to correctly identify model
ai·openai·azure·azure ai
营赢盈英10 天前
Why I‘m getting 404 Resource Not Found to my newly Azure OpenAI deployment?
ai·azure·service·openai api·cognitive
营赢盈英11 天前
Save OpenAI response in Azure function to Blob storage
python·ai·azure·azure-functions·blob-trigger