1.简单介绍
Microsoft Fabric也可以使用On-Premiums data gateway从本地的数据源同步数据。On-Premiums data gateway既可以用于Power Automate, Power BI，现在也可以用于Microsoft Fabric中。这个feature在2024年9月general available了。感觉Microsoft Fabric的feature更新很快，同时Copilot在微软的很多产品中(包括Microsoft Fabric)集成速度也特别快。
这边尝试一下使用On Premiums Data Gateway从本地SQL Server数据库同步数据到Microsoft Fabric的Lakehouse中，以Copy Job的形式来运行的。
2.具体说明
假定本地SQL Server数据库中有2024年的巴黎奥运会的数据，如下图
现在要将这份数据从本地同步到Microsoft Fabric中
2.1 安装Data Gateway
On-Premiums Data Gateway的安装文件可以从这个地址进行下载的
如果C盘的剩余空间小于4G，安装会失败的
1）点击安装文件，开始安装
2）设置安装的路径，然后点击Install
- 输入一个Microsoft 的工作和学校帐户，然后点击Sign In进行身份认证
4）可以选择第一个选项 Register a new gateway on this computer进行Data Gateway的创建
5）设置Data Gateway的名字以及Recovery key，然后点击Configure
- 最后如果出现如下的窗口，表示安装成功了
2.2 配置Data Gateway的连接
在Microsoft Fabric中创建一个Data Gageway connection，这样所有的workspace中的Dataflow, Data Pipeline, Azure Data Factory等可以共用一个connection
- 点击Microsoft Fabric右上角的齿轮图标
- 点击弹出的右侧面板中的 Manage connections and gateways 链接
- 导航到如下界面中创建一个connection
这边在进入到下面的界面时候，发现已经有一个connection在那里了，可能前面的步骤会自动初始化一个Data Gateway connection
2.3 创建Copy Job(Full Copy)
这边打算创建两个Copy Job，第一个是全量数据同步的Copy Job，第二个是增量同步的Copy Job
在Microsoft Fabric中点击New Item，
- 点击 Copy job选项
3）配置Copy job的名字
4）输入本地SQL Server数据库的具体的connection信息，比如servername, database name, 帐户和密码等信息，如下图所示。最后点击Next按钮
5）选择要同步的源数据table
- 配置同步数据的目标Lakehouse
点击Lakehouse选项，会弹出New lakehouse窗口，然后输入一下lakehouse的名字，最后点击Create and connect
- 配置源数据table和目标的mapping
- 数据同步设定为Full Copy
- 最后点击Review界面中的Save+Run按钮，如下图
10）在Copy Job的运行界面中，这边等待80秒，可以看到数据同步完成了
11）打开目标Lakehouse，数据确实已经同步对应的table中了
2.4 创建Copy Job(Incremental)
现在打算修改以下源数据table的奥运会数据，比如改一下如下的数值
要实现增量的数据同步，这边再创建一个增量同步的Copy Job，
- 点击Copy job选项，如下图
- 配置New copy job的名字，然后点击Create按钮
3）配置本地SQL SERVER数据库的连接
- 还是选择和全量同步Copy Job一样的源数据table，如下图
5）选择和全量Copy Job一样的目标lakehouse
- 数据同步的方式这次选择Incremental copy，然后Incremental column选择No
- 在Review界面中可以配置Copy job的Schedule的信息，如下图。
8）配置好schedule后，点击右下角的Save+Run按钮进行运行
9）在Copy Job运行界面中，这边等待了52秒，Incremental copy运行成功，
- 最后检查数据，发现目标lakehouse种特定的数值也进行了更新了，
3.总结
本文记录了一下Microsoft Fabric配置On-Premuims Data Gateway从本地的SQL Server中同步数据到目标lakehouse的过程，具体的细节比较多一些。当前Microsoft Fabric的功能越来越强大，新特性的更新频率非常快，知识体量很大的，后续还需继续跟着微软的老师们学习一下。
本文如果哪里有错误，麻烦告之，谢谢谢谢！