【Azure 架构师学习笔记】- Azure Databricks (13) -- 搭建Medallion Architecture part 1

本文属于【Azure 架构师学习笔记】系列

本文属于【Azure Databricks】系列。

接上文 【Azure 架构师学习笔记】- Azure Databricks (12) -- Medallion Architecture简介

前言

上文已经介绍了关于Medallion的知识,本文开始用ADB 来实现, 但是基于内容较多,所以分为两篇。

前面 【Azure 架构师学习笔记】- Azure Databricks (11) -- UC搭建中已经创建了一个空白的ADB 并启用了UC。

从下图可以大概看出ADB 在Azure上的架构,这里有个大概了解即可:

接下来稍微介绍一下ADB 集群的一些重要选项,并创建一个集群。

  • Access Mode:有下面3中模式,但是从解释可以看出只有前两种支持UC ,这里选择默认的single即可。

  • Databricks Runtime:决定了Spark的版本,一般使用最新版即可。
  • Worker Type:决定了节点所使用的VM 类型。
  • Number Worker Nodes:节点随压力增减的幅度。

完成这部分配置之后,我们快速搭建一个ADLS Gen2 来作为medallion的存储。这次使用Terraform来搭建,详见【Azure 架构师学习笔记】- Terraform创建Azure 资源

为了满足medallion 架构,在ADLS 上创建3个container分别为bronze, silever和gold,另外再加一个landing,用于提高可扩展性,最终的样子为这样:

至此,我们的ADB 一共有两个ADLS,一个是用于metadata,另外一个则是上面的用于存储业务数据的。

配置UC 与外部ADLS

为了让ADB 能够访问这个新建的ADLS, 还需要把ADB 的connector授权到这个ADLS 上(外部)。同时还需要在UC中创建"External Locations"(内部)。

打通 ADB UC 与 ADLS

把前面创建的"Access Connector for Azure Databricks"授予"Storage Blob Data Contributor"到新建的ADLS 中。如果ADLS 根据业务需求限制网络访问,那么还可能需要把ADB 的private subnet和public subnet 在ADLS 中进行白名单。

配置External location

External location实际上就是databricks内部的对象在外部ADLS上的映射。

但是由于"external location"是需要一个storage credential,所以我们先点下面一个"create a credential"创建凭证:

其中Access Connetctor ID 可以从资源Access connector 处复制:

有了这个credential之后,ADB UC 就可以正式与ADLS 连接上了。

创建external location, 注意下面的格式

错误出现了,很明显要授权:

检查当前权限,确实没有:

勾选报错中提到的权限,在后续会出现很多权限不足的问题,你可以逐个添加,但是要记录下来以便后续正式环境时减少错误。


按照这个方式,把前面所有的container都建好external location:

到此, 我们的基础环境已经搭建好,接下来将开始UC 内部具体的配置。

相关推荐
codeの诱惑6 天前
Azure DevOps CI/CD 流水线中 Java 17 容器化部署 NullPointerException 解决方案
ci/cd·azure·devops
Leinwin7 天前
Azure Cobalt 100 VM:以卓越性能与能效优化云端工作负载
microsoft·azure
weixin_307779138 天前
在 Microsoft Azure 上部署 ClickHouse 数据仓库:托管服务与自行部署的全面指南
开发语言·数据库·数据仓库·云计算·azure
Leinwin12 天前
Azure Front Door 在中国区正式上线
microsoft·azure
Leinwin13 天前
微软发布Azure容器存储v2.0.0国际版
microsoft·azure
宝桥南山15 天前
Azure - 尝试创建并使用一下Azure AI Search
microsoft·微软·azure
宝桥南山21 天前
Azure - Azure需要MFA login了(2025-09-30之后)
microsoft·微软·azure
Leinwin1 个月前
微软 Azure AI 视频翻译服务助力 JowoAI 实现短剧高效出海
人工智能·microsoft·azure
安娜的信息安全说1 个月前
使用 Azure AD 实现认证与权限管理:原理解析与操作指南
microsoft·flask·azure
Leinwin1 个月前
Bulutistan:融合本地与云端,借 Azure Arc 开启创新之旅
microsoft·azure