第一次听到 purview 这个词还是我的销售同事问我,你玩过 purview 吗? 我说我听都没听过,赶紧打开 chatgpt 问了下,这个产品的是干嘛的,它的前世今生。搜了些资料,说是用在企业合规、敏感信息保护、DLP、审计这些场景中,那是不是可以把他理解成一个偏安全和合规的产品。
但随着继续深度入,一堆技术词汇出来了,Data Map、Unified Catalog、Business Glossary、Data Lineage、Data Quality,慢慢的察觉出 purview 不只是一个合规工具,更像是一个地图、字典,一个元数据的知识库。
我知道我的销售同事问我,肯定是有客户提出了这个需求,确实不久后客户的 RFP 就来了,下面我分享下这个标后,我对 purview 的理解以及它在企业应用中的价值,当然仅限我的个人理解。
这个客户已经建设数仓很多年了而且数仓也是在我们的帮助下一手搭建出来,结构化数据主要在数据库、数据仓库和 BI 平台中;同时,企业内部还有大量文档、制度、市场资料和业务知识,分散在 SharePoint、Teams、OneDrive、文件服务器等位置。从技术角度看,企业并不缺数据,甚至可以说数据已经很多了。但业务用户仍然会遇到这些问题:
- 我需要的数据到底在哪里?
- 这个字段是什么意思?
- 为什么两个部门对同一个 KPI 的定义不一样?
- 这张 Power BI 报表的数据来自哪张表?
- 修改数据仓库中的一个字段,会影响哪些下游报表?
- 这份数据是谁负责的?有问题应该找谁?
- 这个数据是否最新,质量是否可靠,能不能给 AI 使用?
过去我们做数据项目,更多关注的是如何把数据抽取进来、如何建模、如何做报表。项目交付以后,很多知识仍然存在于开发人员、业务顾问或者某几个资深 IT的脑子里。一旦人员发生变化,很多问题又要从头调查。所以客户缺少的不是数据,而是对数据的统一认知。
再回到元数据三个词,元数据即 metadata, 做过 D365 或者 power platform 的老顾问对这个词一定不陌生,像数据库表、字段、报表的名字、文件名称属性等通通可以归类为元数据。
在企业里,元数据至少包括几类:
- 技术元数据:表名、字段名、数据类型、数据源、更新时间等。
- 业务元数据:业务定义、KPI 口径、同义词、所属业务域等。
- 治理元数据:Data Owner、Data Steward、审批状态、认证状态等。
- 质量元数据:完整性、唯一性、及时性、质量评分等。
- 安全元数据:敏感级别、保留策略、访问限制、数据驻留要求等。
- 血缘元数据:数据从哪里来,经过了什么转换,最终被哪些报表或应用使用。
所以元数据管理并不是简单维护一个 Excel 版数据字典,而是让企业能够持续回答五个问题:有什么数据、数据在哪里、数据是什么意思、谁对它负责、它是否值得信任。
再说回到 purview, Microsoft Purview 是一个很大的企业级产品家族,既包括数据安全与合规能力,也包括数据治理能力。从数据治理角度看,可以先抓住两个核心组件:
1,Data Map:先把企业数据资产"看见",Data Map 通过连接器扫描数据库、数据仓库、分析平台以及其他数据源,采集表、字段、文件、报表、分类和血缘等元数据。它解决的是企业数据资产盘点问题。企业可能有 Azure SQL、Data Factory、Databricks、Power BI、Microsoft 365,也可能有 SAP、Snowflake 或其他平台。过去这些系统分别维护自己的技术信息,使用 purview 后,可以把它们的元数据汇总到一张逻辑上的数据地图中。需要注意的是,Purview 主要采集和管理的是元数据,不是把所有业务数据复制到 Purview 中。
- Unified Catalog:让技术资产变成业务可以理解的数据产品.只有扫描出来的表名和字段名,对业务用户价值仍然有限。Unified Catalog 的作用,是在技术元数据之上补充业务语义和治理信息,例如:
- 这个数据属于哪个业务域;
- 对应哪个业务术语或者 KPI;
- Owner 和 Steward 是谁;
- 数据是否已经认证;
- 数据质量和新鲜度如何;
- 哪些资产可以组合成一个 Data Product;
- 用户应该如何申请和使用。
如果说 Data Map 是后台的数据地图,那么 Unified Catalog 更像是面向企业用户的数据资产门户。一个管"企业有什么",一个管"这些东西是什么意思、由谁负责、应该怎么用"。用客户CIO 的话说,数据资产我们 IT 都知道,但业务不知道,如何能让业务更快的知道我们有哪些数据资产,并且把他们用起来,这才是我们维护如此庞大数据仓库该有的价值。
水了这么多篇幅有些过长了,再单开一篇再说说 purview对企业的价值,还有 AI 时代,purview 在企业 AI 建设中能起到什么样的助力。