【大数据架构-数据中台(1)】解码数据中台:从概念到认知

文章目录

核心观点

数据中台不是技术产品,而是一套"让数据用起来"的机制。就像阿里巴巴在2015年开创"大中台、小前台"模式,让数据真正成为企业数字化转型的核心驱动力一样,数据中台的本质在于将数据从沉睡的资产转化为持续产生价值的服务能力。

核心要点:

  1. 数据中台是一套可持续"让数据用起来"的机制,需要从战略、组织、技术、人才全方位规划
  2. 数据中台需要提升到企业下一代基础设施的高度,进行规模化投入
  3. 数据中台需要全新的数据价值观和方法论,形成平台级能力(需要数仓建设,数据平台规划能力?)
  4. 数据中台围绕业务、数据、分析会衍生出全新人才素养要求

数据中台的产生与发展:从阿里巴巴到全行业

核心结论: 数据中台是中国本土诞生的概念,从2014年阿里巴巴引入中台思想,到2022年市场规模达139亿元,已成为企业数字化转型的必选项。

回顾数据中台的发展历程,就像观察一个创新理念如何从单点突破到全面开花的完整过程。

2014年,阿里巴巴从芬兰Supercell公司接触到中台概念,这个看似简单的接触,却引发了中国企业数字化转型的一场革命。2015年,阿里巴巴开始在集团内部践行,开创了"大中台、小前台"的组织机制。这个创新不是偶然的,而是基于一个核心洞察:当企业业务快速扩张时,如何避免重复建设,如何让数据能力快速复用?

2018年,百度、京东、腾讯等头部互联网企业纷纷跟进,在组织架构调整中增设中台部门。这个阶段,中台概念从互联网企业开始向全行业渗透。

2019-2020年,数据中台进入爆发期。连锁零售行业通过数据中台打通各渠道数据,实现精准营销;地产行业整合多业务板块资源;金融行业实现数据治理和服务化;政务数据中台在各级政府得到应用。

从市场规模看,2020年我国数据中台市场规模达到68.2亿元,较上年增长近80%。2022年已达139亿元,2018-2022年复合增长率为69.1%。这个增长速度背后,反映的是企业对数据价值挖掘的迫切需求。


数据中台的定义:是一套体系和机制

核心结论: 数据中台没有统一标准定义,但本质是一套可持续"让数据用起来"的机制,是战略选择和组织形式,而非简单的技术或产品。

数据中台不是简单的技术或产品,而是一套体系、一套机制。

从实践角度看,数据中台是一套可持续"让数据用起来"的机制。它依据企业特有的业务模式和组织架构,通过有形的产品和实施方法论的支撑,构建一套持续不断地把数据变成资产并服务于业务的机制。

这个机制的核心特征是:数据来自业务,并反哺业务,不断循环迭代,实现数据可见、可懂、可用、可运营。

以某大型集团为例,该集团拥有跨金融、地产、零售的多条业务线。要做数字化转型,不仅是技术问题,更是组织与业务运转模式改变的问题。这解释了为什么各大互联网公司在宣布中台战略时,会伴随着组织架构调整。

关键认知: 每家企业的数据中台都是独特的,没有任何两家企业的数据中台完全相同。数据中台的实施不仅需要技术产品,更需要针对不同业务、数据、应用场景的体系化实施方法和经验。


对数据中台的三个核心认知

核心结论: 数据中台要成为数字经济的基础设施,需要企业从战略高度进行顶层设计,建立全新的数据价值观和方法论,并启动人才储备计划。

1. 提升到企业下一代基础设施的高度

数据中台的目标是提供普惠数据服务,只有在B端市场被企业提升到下一代基础设施的高度,才能从根本上解决数字化转型的瓶颈和痛点。

这些痛点包括:数据孤岛林立、数据资产化程度低、数据服务提供效率与业务诉求严重不匹配等。

解决思路: 企业需要从战略高度进行顶层设计,确定规模化投入政策,设置更合理的组织架构,确保数据中台作为数据应用的基础设施并落地建设。

2. 需要全新的数据价值观和方法论

数据中台不仅仅是技术平台。倘若停留于此,就完全忽略了IT到DT的本质变化是围绕数据资产。企业面临的主要矛盾是无法解决业务端的灵活性和经营管理的稳定性之间的冲突

单纯地增大技术投入和人才投入都无法保障企业经营效能的持续提升。只有秉持数据价值观和方法论, 才可能系统性地解决企业经营发展围绕数据的诸多问题。

3. 需要全新的人才素养要求

人才永远是瓶颈,并且人才的具体定义在动态变化。企业需要围绕数据中台明确人才的定位和职业通道,才可能吸引或培养出拥有业务、数据、分析等综合素养的新型信息化人才。

行动建议: 企业需要尽快启动数据中台人才储备计划,为人才准备成长的土壤。


数据中台需要厘清的概念(重点概念)

核心结论: 数据中台与业务中台、数据仓库、BI、数据湖、数据编织等概念既有区别又有联系,理解这些关系有助于正确认识数据中台的定位和价值。

数据中台与业务中台:抽象层次不同

区别: 业务中台抽象业务流程的共性 形成通用业务服务能力 ,数据中台则抽象数据能力的共性形成通用数据服务能力。

以电商平台为例,业务中台将订单、交易、商品管理等共性组件沉淀下来,形成业务服务能力。而数据中台将原始业务数据通过资产化、服务化,形成客户微观画像服务,这个服务既可用于商品推荐,也可用于信用评级。

联系: 如果同时拥有业务中台和数据中台,两者是相辅相成的。业务中台的数据进入数据中台进行体系化加工再以服务化方式支撑业务中台上的应用,形成循环不息的数据闭环。

建设建议: 数据中台是每家有信息化基础的企业都要考虑建设的,而业务中台的建设则要根据企业的业务情况慎重决策。只有多业务单元经营模式且业务相似度高时,建设业务中台才有意义。

数据中台与数据仓库:包含与被包含

数据仓库的主要应用场景是支持管理决策和业务分析 ,而数据中台则是将数据服务化之后提供给业务系统,目标是将数据能力渗透到各个业务环节。

核心关系: 数据中台建设包含数据体系建设,也就是说数据中台包含数据仓库的完整内容。数据中台可以将已建好的数据仓库当成数据源,对接已有数据建设成果,避免重复建设。

数据中台与BI:应用出口关系

BI可以作为数据中台应用的一种出口 ,数据中台的数据体系中的应用数据层可以对接BI系统,面向不同的业务需要提供决策支持和展示。

数据中台与数据湖:管理与被管理

数据湖可以作为数据中台的全量数据汇集存储的环境,数据湖的数据最终要通过治理和挖掘服务于业务。数据湖就是企业的全量数据资源池通过数据中台这套体系来管理

数据中台与数据编织:理念与机制

数据编织是一种数据技术的设计思想,强调智能化的能力。而数据中台是一套让数据用起来的机制,不仅包含数据技术,还包含企业战略、组织文化、运营机制等多个方面。

两者可以相互配合:数据中台可以借鉴数据编织的设计理念,数据编织可以借鉴数据中台的运转机制。

数据中台与现有信息架构:相互赋能

很多企业担心建设数据中台是不是要将现有信息架构推倒重来。实际上,数据中台与企业的现有信息架构不存在竞争关系,不会导致企业现有系统、功能和应用的重复建设

例如:

以一家轮胎制造企业为例,该企业有OA、ERP、工艺设计、物流、生产等多个系统。核心痛点是无法准确知道轮胎能否准时交付。影响交付的数据变量散落在所有系统中。

传统做法: 需要拉出所有系统数据库中的表,用Excel做对应关系,过程琐碎且耗时。

数据中台做法: 通过中台机制汇聚相关系统中的原始数据,面向轮胎这一实体构建场景化的标签特征,通过离线或实时的数据交互模式,不断更新特征值,将业务场景关注的数据价值直接展现出来。

关键认知: 数据中台在定位上与业务IT系统并不冲突。企业原有的IT系统依旧会根据业务和IT技术的迭代不断升级,数据中台的定位则是在数据领域帮助企业不断沉淀数据能力。两者之间是相互依托、相互赋能、相互促进的关系。


数据中台的未来意义

核心结论: 数据中台是数字化时代企业实现数字化转型和创新发展的战略支撑,将从适应数字化需求、促进跨领域协同、提高企业竞争力三个维度发挥价值。

在数字化时代,数据既是企业的核心资产,也是企业的核心竞争力。数据中台作为一个能够整合企业内外各种数据,提供统一的数据服务和能力的平台,将从以下三个方面发挥价值:

  1. 适应数字化时代的需求:帮助企业实现数据的采集、存储、处理、分析、展示、应用等全流程的管理与优化,提升数据的质量、安全性和效率。

  2. 促进跨行业和跨领域的协同:实现数据的横向和纵向整合,打通企业内部和外部的数据壁垒,实现数据的共享和流动,从而促进不同行业和领域之间的协同与创新。

  3. 提高企业的竞争力和价值:利用人工智能、大数据分析、机器学习等技术,对数据进行深度挖掘和洞察,提供智能化的数据服务和应用,支持企业的决策、优化、创新等。


关键理解

如何理解数据中台需要全新的数据价值观和方法论,形成平台级能力

这句话的核心是:数据中台不只是技术平台,更是一种数据思维和运营方式的转变。

传统做法是项目驱动:每个项目自己建数据能力,做完就结束,数据散落在各处,下次项目又要重新做一遍。数据更像是项目的副产品,而不是资产。

数据中台要改变这种思路。

首先,把数据当成资产来管理,像管理财务资产一样,需要盘点、评估、持续运营,而不是用完就丢。其次,数据要服务化,不是直接把原始数据给业务方,而是封装成标准服务,一次建设,多次复用。第三,数据要共享,打破部门墙,让数据在组织内流动起来,而不是各自为政。

方法论上,核心是"统一":

  1. 统一数据标准(OneData),避免各说各话;
  2. 统一服务接口(OneService),让数据调用像调用API一样简单;
  3. 统一实体标识(OneID),让跨系统的数据能够关联。
  4. 同时要有持续的数据治理,不是出了问题再治理,而是从一开始就建立规范,用自动化手段保证数据质量。

平台级能力意味着什么?

不是做一个项目,而是建一个平台。这个平台要能支撑所有业务场景,不是今天做报表、明天做分析,而是提供数据采集、存储、计算、服务这些基础能力,让业务方按需组合使用。这个平台要持续运营,不是交付完就结束,而是要像运营产品一样,不断优化、迭代、响应业务变化。

参考:《数据中台-让数据用起来(第二版)》

相关推荐
追风的木木21 小时前
TDengine在NetCore中数据查询的使用
大数据·tdengine
数据猿21 小时前
【金猿CIO展】上海纽约大学信息技术部高级主任常潘:大数据铸基,AI赋能,从数字化校园向智慧有机体的十年跃迁
大数据·人工智能
狼爷21 小时前
Saga 分布式事务模式详解
架构
oMcLin21 小时前
如何在 Red Hat Linux 8 上实现 Kubernetes 自定义资源管理器(CRD)扩展,支持微服务架构
linux·架构·kubernetes
李@十一₂⁰1 天前
git多分支管理
大数据·git·elasticsearch
yumgpkpm1 天前
AI评判:信创替代对Cloudera CDH CDP Hadoop大数据平台有何影响?
大数据·hive·oracle·flink·kafka·hbase·cloudera
小四的快乐生活1 天前
大数据SQL诊断(采集、分析、优化方案)
大数据·数据库·sql
一条咸鱼_SaltyFish1 天前
[Day10] contract-management初期开发避坑指南:合同模块 DDD 架构规划的教训与调整
开发语言·经验分享·微服务·架构·bug·开源软件·ai编程
DeepFlow 零侵扰全栈可观测1 天前
3分钟定位OA系统GC瓶颈:DeepFlow全栈可观测平台实战解析
大数据·运维·人工智能·云原生·性能优化