数据管理的四大基石:通俗解读数据中台、数据仓库、数据治理和主数据

很多人听到数据中台、数据仓库、数据治理和主数据这些名词时,可能会还是觉得抽象难懂。但其实,如果我们用通俗的语言和生活中的例子来比喻,就能轻松揭开它们的神秘面纱。

01数据中台:数据的"中央厨房"

设想一下,你是一位掌管大型餐馆的厨师长,每日都要处理来自不同供应商的各式食材。为了让这些食材保持鲜美、干净,并且能迅速转化为美味的佳肴,你需要一个中心化的厨房,来集中接收、清洗、切割并分配这些食材。这个中央厨房就是你的数据中台。

数据中台,就如同企业数据的"中央厨房",它的任务是汇聚来自不同部门、系统和来源的繁杂数据,进行深度清洗、精心加工以及标准化处理,随后再将这些数据分发给各个需要的业务部门。就像中央厨房能确保食材的品质、规格统一且随时可用一样,数据中台也保证了企业数据的高质、统一和便捷获取,从而使得数据能够成为企业决策和运营的坚实后盾。

△数据中台架构图

数据中台不是一套软件,也不是一个信息系统,而是一系列数据组件的集合,企业基于自身的信息化建设基础、数据基础以及业务特点对数据中台的能力进行定义,基于能力定义利用数据组件搭建自己的数据中台。

02数据仓库:数据的"图书馆"

再想象一下,你是一位图书馆管理员,负责管理和维护图书馆中的大量书籍。你需要确保每本书都能按照类别、作者、出版日期等有序地摆放,方便读者查找和借阅。这个图书馆就是你的数据仓库。数据仓库是企业数据的"图书馆",它存储了大量的历史数据和结构化数据,并按照一定的规则和格式进行组织和存储。

△数据仓库逻辑架构

原来各个数据孤岛中的数据,可能会在物理位置(比如沃尔玛在各个城市可能都有自己的数据中心)、存储格式(比如月份是数值类型,但但天气可能是字符类型)、商业平台(不同数据库可能用的是Oracle数据库,有的是微软SQL Server数据库)、编写的语言(Java或者Scale等)等等各个方面完全不同,数据仓库要做的工作就是将他们按照所需要的格式提取出来,再进行必要的转换(统一数据格式)、清洗(去掉无效或者不需要的数据)等,最后装载进数据仓库。

可以这么说,数据仓库为OLAP解决了数据来源问题,数据仓库和OLAP互相促进发展,进一步驱动了商务智能BI的成熟。数据仓库一般都是作为商业智能系统、数据仪表盘等可视化报表服务的数据源。

与数据中台不同,数据仓库更注重数据的长期保存和查询分析。它为企业提供了强大的数据查询和分析能力,帮助企业深入了解市场、客户和业务流程,发现潜在的机会和风险。

03数据治理:数据的"交警"

现在,让我们想象一下城市交通中的交警角色。交警负责维护交通秩序,确保车辆和行人遵守交通规则,防止交通拥堵和事故的发生。在数据世界里,数据治理就扮演着这样的角色。数据治理是对数据进行全面管理和规范的过程,就像交警维护交通秩序一样。它确保数据的准确性、一致性、安全性和可用性,防止数据滥用和泄露。数据治理还负责制定数据管理的规章制度,监督数据的采集、存储、处理和使用过程,确保数据在整个生命周期中都得到妥善管理。

数据治理是指企业为确保数据质量、安全性和有效性,而采取的一系列政策、流程和措施。它涉及数据的全生命周期管理,包括数据的收集、存储、处理、分析和共享等环节。数据治理的主要目的是通过制定数据标准和规范,确保数据在企业内部的一致性和准确性,从而为企业决策提供有力支持。

△数据治理平台架构图

如何去实现一套数据治理业务流程呢,亿信华辰整个数据治理平台的功能,即基于企业数据资产管理业务需求,通过数据采集、主数据、元数据、数据标准、数据质量、数据安全、数据资产管理、数据服务、数据可视化等全流程治理,实现数据价值提升。

04主数据:数据的"身份证"

在现实生活中,每个人都有自己的身份证,它是证明个人身份的重要证件。同样,在数据世界里,主数据就像是数据的"身份证"。主数据是企业内部最关键、最核心的数据,它描述了企业的核心业务实体,如客户、产品、供应商等。就像身份证一样,主数据具有唯一性和权威性,它是企业内部各个部门和系统之间共享和交换数据的基础。

一家企业不只有主数据,还有一些其他数据,这里有一个金字塔结构的企业数据模型,包括关键的基础数据、主数据、业务数据、报表数据。

基础数据可以理解为基本不会发生什么变化的,比如国家货币计量单位,其他维表数据等,其数据就是一些取值范围,也称其为参考数据;主数据就是长期稳定的,能被多个系统使用的,比如组织机构人员、客商等;业务数据是指一些业务交易系统所产生的数据,包括订单的记录、还有一些考勤记录等,与主数据捆绑的比较紧;报表数据是基于下面三类数据做的一些分析呈现,报表数据的主要作用是通过结果呈现来做预测工作。

来看看主数据若是出现问题,会对业务造成什么样的影响。如下图所示,这两条数据是同一个物料吗?

我们可以看到这里少了一个度,并且编码是不一样的,但从这个主体来说,它是 同一个物料,但是却存在两条记录;像第二个也是,它的编码只差了一个0,但编码的却是两个;下面的数据也同样如此,当企业在做物料的预算时,由于找不到到底是那条数据缺失了,所以他没办法做一个准确的预算。对于采购也是如此,当业务系统里存在两条采购数据,这样就会导致一些大量的重复采购,从而浪费资源。

因此,主数据管理十分重要。通过管理和维护好主数据,企业可以确保数据的一致性和准确性,提高业务处理效率和决策质量。

04定位与差异:协同作战的团队成员

数据中台、数据仓库、数据治理和主数据作为数据管理的四大基石,相互之间存在紧密的联系和协作,共同构成了完整的数据管理体系。

  • 数据中台作为"中央厨房",负责数据的整合和加工,为数据仓库提供高质量的数据源;

  • 数据仓库作为"图书馆",存储和管理大量的历史数据,为企业的查询和分析提供支持;

  • 数据治理作为"交警",确保数据的规范和安全,为整体数据管理提供制度保障;

  • 而主数据则作为数据的"身份证",是企业内部最关键的数据,为各业务部门和系统提供数据基础和关联。

它们就像一支协同作战的团队,共同为企业提供了强大的数据支持,帮助企业更好地应对市场挑战和抓住机遇。

相关推荐
朵朵zeng21 小时前
ETL背景介绍_1:数据孤岛仓库的介绍
数据仓库·etl·原型模式
方二华1 天前
数据仓库:企业数据管理的核心引擎
数据仓库
IvanCodes2 天前
七、深入 Hive DDL:管理表、分区与洞察元数据
数据仓库·hive·hadoop
RestCloud2 天前
ETL 数据集成平台与数据仓库的关系及 ETL 工具推荐
数据仓库·etl·cdc·数据集成平台
yyf9601263 天前
hiveserver2与beeline进行远程连接hive配置及遇到的问题
数据仓库·hive
jiedaodezhuti3 天前
hive两个表不同数据类型字段关联引发的数据倾斜
数据仓库·hive·hadoop
IvanCodes3 天前
五、Hive表类型、分区及数据加载
大数据·数据仓库·hive
镜舟科技3 天前
什么是数据集市(Data Mart)?
数据仓库·olap·数据集市·多维数据模型·在线分析处理·定制化数据
庄小焱3 天前
数据治理域——数据治理体系建设
大数据·数据治理·系统设计·数仓系统设计
SelectDB技术团队3 天前
顺丰科技:从 Presto 到 Doris 湖仓构架升级,提速 3 倍,降本 48%
大数据·数据库·数据仓库·信息可视化·数据分析·doris·实时分析