Microsoft Fabric - 尝试一下Delta Table

1. 简单介绍

Microsoft Fabirc中的Delta table是一种适用于Spark的关系存储层,是一种基于Parquet文件的Table。这边尝试一下在Microsoft Fabric Delta table。

2.具体说明

2.1 创建Lakehouse

  1. 点击workspace中的New item
  1. 点击Lakehouse选项,创建一个Lakehouse
  1. 创建一个subfolder并导入OlympicsMetalsData.csv文件

2.2 创建Notebook

  1. 点击New notebook 菜单项创建一个notebook
  1. 显示一下OlympicsMetalsData.csv文件的数据
复制代码
df = spark.read.format("csv").option("header","true").load("Files/OlympicsData/OlympcisMetalsData.csv")
display(df)

2.3 创建一个托管的Table

复制代码
df.write.format("delta").saveAsTable("managed_olympicsmetalsdata")

发现Lakehouse确实有一个table managed_olympicsmetalsdata 生成

2.4 创建一个External table

点击Files文件夹右边的...,选择Copy ABFS path

下面是在Notebook中执行的语句, 其中your copied ABFS path是copy出来的ABFS path,

复制代码
df.write.format("delta").saveAsTable("external_olympicsmetalsdata", path="[your copied ABFS path]/external_olympicsmetalsdata")

执行创建external table的语句,刷新Lakehouse的Tables和Files文件夹,发现Lakehouse的有对应的external table(external_olympicsmetalsdata)产生,同时也产生了一个文件夹external_olympicsmetalsdata,文件夹下面是数据文件

2.5 Drop Table

执行下面的SQL语句,删除前两步骤中创建的托管和external table

2.6 托管和external Table的不同

刷新Lakehouse的Tables文件夹,发现之前创建的两个table已经被drop了

但是external table external_olympicsmetalsdata对应的外部数据文件还存在

依然可以通过外部的数据文件进行Delta table的创建,如下图

刷新Lakehouse,发现delta table有创建好

同时执行查询delta table的语句,也可以把奥运会的数据查询出来

3.总结

本文简单记录了一下在Microsoft Fabric Spark中使用Delta Table的一些过程,Microsoft Fabric的内容体系非常庞大,同时新的feature更新得也很快,还需继续向Microsoft Fabric专家们学习一下。

本文如果哪里有错误,麻烦告之,谢谢谢谢!

相关推荐
Navicat中国1 天前
Navicat 18 支持 Azure OpenAI 接入,合规 AI 赋能 SQL 开发
数据库·人工智能·microsoft·ai·azure·navicat·数据
张张123y1 天前
2026 Agent 框架怎么选?拆 3 层底层逻辑(运行循环 / 记忆 / 工具协议)+ 一张决策表
linux·ubuntu·microsoft·langgraph·mcp·crewai·agent 框架
霍格沃兹测试学院-小舟畅学1 天前
Playwright CLI:语义快照与局部检索,AI 如何找到正确的页面元素?
人工智能·microsoft
某不知名網友2 天前
ROS2进阶:服务通信、自定义SRV接口、参数服务器与基于服务的参数通信详解
java·开发语言·microsoft
不爱学英文的码字机器2 天前
从Q1迁到T1,同一个编号已经换了含义
前端·数据库·microsoft
龙亘川2 天前
城市公共安全治理如何从“人海战术“走向“数据驱动“?
大数据·数据库·人工智能·安全·microsoft·智慧城市·数据可视化
2503_931712482 天前
数据服务公司怎么帮助企业更高效找到行业数据与商业情报
大数据·人工智能·microsoft
多看书少吃饭3 天前
使用 Qwen 实现实时语音、视频聊天与屏幕共享:原理、接入流程与工程实践
microsoft·音视频
奈落243 天前
Anthropic 收购 Vercept:Claude 的“计算机使用”要补感知与交互这一课,团队该盯什么
microsoft·api·agent·ai 编程