本文属于【Azure 架构师学习笔记】系列。
本文属于【Azure Databricks】系列。
在前面的文章:【Azure 架构师学习笔记】- Azure Databricks (6) - 配置Unity Catalog中演示了如何配置一个UC。 本文在配置的基础上大概演示其使用。
检查UC 状态
在配置完毕之后,刷新浏览器,在主界面点击【compute】,新建一个集群,可以看到在右边【Summary】处显示"Unity Catalog" 。意味着新建的集群都将是这种模式。
我们从【Catalog】中进入UC 的界面,可以看到现在的workspace已经附加到前面新建的UC 中。
接下来演示UC 使用。
UC 演示
创建Catalog
创建Schema
在UC中,一个database也称为Schema,
创建表
在schema下创建表可以通过点击create或者add。他们最后都是在同一个界面
导入数据
或者通过拖拽的方式也就是点击上面"Create or modify table"图标
创建external location
ADB 处理的数据多数存储在ADLS 上,毕竟ADLS 作为云存储对大数据具有成本优势。因此ADB会通过外部ADLS来访问。这时候就要借助external location去访问外部资源。详细创建过程可参考【Azure 架构师学习笔记】- Azure Databricks (6) - 配置Unity Catalog
在独立的ADLS 上上传一个文件:
然后通过notebook去查看,可以看到能够列出文件,证明ADB已经打通了与外部存储的通路。