建设数据中台到底有啥用?

最近专注在数据和人工智能领域,从数据仓库、商业智能、主数据管理到大数据平台的建设,经过很多项目的沉淀和总结,最后我和团队一起总结了精益数据创新的体系。一直战斗在企业信息化一线。

企业为什么要建设数据中台,数据中台对于企业的价值到底是什么。从概念和框架的角度,给你提供一个更全面的视角。做好任何一件事情的前提就是弄清楚为什么。

1 数据中台的诉求

百度搜索指数

数据中台的百度搜索指数最终超越了数字化转型和数据仓库。很多企业已经在落地,没启动的企业也在考虑中。显然,数据中台能满足企业的一些诉求。

数据中台行业调研得出的词云图。

大家对数据中台最多的期待:

  • 距业务更近
  • 为企业提供直接业务价值
  • 提供数据服务而不止报表

1.1 传统企业的数据系统距离用户和业务较远

  • 数据系统只是技术支撑,不能直接产生业务价值。做一个业务系统,如电商平台可直接带来收入。但传统的数据应用,如数据仓库不能带来直接价值
  • 当业务人员要在报表里修改一些内容时,得到的响应慢,因为业务人员无法自己直接使用数据来产生洞察,需要去找数据团队
  • 过去在数据方面的投资,大量花费在数据采集、处理和建模部分,而真正利用到业务领域的也不多

换个角度看,业务开发团队对数据利用有很大需求,体现在希望数据中台能解决企业数据开发的效率问题,协作问题和能力问题。

数据中台给应用开发人员这样的希望:他们无需关注具体取数逻辑,只需关注客户需求,像搭乐高一样组合各种数据中台的数据服务到自己的应用,数据准确且一致。

所以,数据中台的价值就是改变原来企业利用数据的形式。

过去,数据的利用形式主要是BI,说直接点就是做报表,做报表就是让管理者知道现在的业务在发生什么,为啥会发生这些事,接下来可能发生啥,这一切都是提供给我们的管理者去看的,帮管理者去做出一个业务决策。

随业务复杂度提升,一个决策背后的因素很多,一个现象需要多维解读才能体现业务全貌。于是,管理者需要的报表越来越多,很多企业会有多个不同业务线的数据仓库,每个数据仓库里都有千张以上的报表,最后就陷入了报表的迷宫。

回头来看这过程,发现报表并不是我们需要的,而数据本身也不是我们需要的,我们需要的是一个业务决策,一个业务行为。如用户打开电商产品目录时,将他最可能购买的产品展示在第一页,而原来OLTP、OLAP分离的数据处理流程做不到,在业务交易过程中,也无法从历史数据和全域数据的分析结果中获得行动的指引。

市场对数据中台的期待,是提供直接驱动业务流程的数据服务,而不仅是需经过人去转化和解读的数据可视化报表,原来商业智能时代已去,市场和用户期待数据智能时代。

2 建设数据中台的根本目的

建设数据中台似乎能提供这种诉求的解决方案。但建设中台不容易,需在技术、组织架构都做对应调整,落地过程也面临种种挑战。企业为啥还兴师动众落地数据中台?数据中台的愿景是打造数据驱动的智能企业。

企业建设数据中台,成为数据驱动的智能企业

3 对企业的收益

  • 优化现有业务
  • 实现新业务的转型

3.1 优化现有业务

通过数据分析和人工智能技术的应用,优化原业务流程。

1 增加现有业务的收入

如通过分析产品的价格、销量、用户数据来优化产品定价、优化产品组合、进行精准营销,从而能够促进产品的销售,增加现有产品的收入。

案例

给一个能源类企业做的数据中台。建成后能够根据历史销量、市场份额、市场容量等数据进行建模,从而帮助企业的销售部门去优化销售任务的分配,提升销售额。这小项目能给企业啥价值?

过去,企业每年年初给全国几十个销售定业绩并持续跟踪,很痛苦,目标不好锚定,每个销售管理一堆经销商,经销商销量、退货都不拉通,无法客观地量化和追踪销售的业绩。

过去这一切靠的都是销售总监经验去拍数,更多靠谈判力,不确定性很高。有了数据中台后,把行业数据、市场竞争数据、往年销售数据以及经销商的数据都拉通来看,一下给到销售总监全貌,还可模拟,让销售业绩分配这个工作变成一个可量化、可预测的确定性工作。

2 促进生产效率

通过数据中台建设,能促进生产效率的提升。

如某大型电信服务商,通过对勘测、规划、设计工作的建模,实现数据自动化处理,减少人工干预和问题的出现,大幅提升工程师设计效率和准确性,将工程设计周期缩短一半。

分析原因。电信服务商的投标是一个很复杂的工作,从客户发出需求到根据需求去勘测、做出规划、具体实施设计再到把实施设计转化成物料设计、工程设计、财务设计,最后再形成投标方案,这个过程过去至少需要一个月,需要众多不同业务部门和专业技能的协作,其中大部分工作都花在了不同数据的合并、拉通、对齐和映射上。

企业建设数据中台后,所有数据能自动处理,大家在同一数据服务里获取、修改、加工同样一套数据,且每次做方案的过程都沉淀成新的服务,后面项目可复用,大大缩短工期,有些标准化较高的项目类型,可从原来一月缩到三天。

降低运营成本,提升运营的利润

目前利用场景最多的,主要通过数据分析优化业务流程、缩短运营周期,从而提升运营利润。

如给一家大型钢铁厂进行配方规划优化,通过对配方数据、市场价格、销量数据的综合分析建模,给到成本最优、产值最高的生产组合,降低运营成本,提升利润。

钢铁行业里配矿决策是很复杂但很重要环节,不同配矿方案,成本和工艺都不一样,对利润影响很大。如何根据技术和商业的众多因素选择最优配方?过去都根据经验维护和计算配矿规则,效率低、周期长。

有数据中台,将原材料的性能、化学工艺、产品质量等技术因素和价格、成分、运营成本及销售收入等商业因素的数据统一进行建模,统一计算后最终做出综合规划,这大大提升利润、降低运营成本。

如下图所示,这是一个典型的钢粉配方的和制造成本的表格,这里面每一项的变化都会带来成本的变化,而影响利润的除了制造成本外,还有销售价格,运营成本等,这样一来如何设计出最优化的配矿决策就是非常重要的因素。通过数据建模,ML的智能配矿模型能全方位规划最优方案,达到特定商业目标,如缩短生产周期或提升利润,优化库存。

提升用户体验

提升用户体验的核心是企业要理解自己的用户,知道用户对自己产品、服务的认知,然后对应优化自己的产品和服务,这就需要建设用户数据平台,构建统一的用户视图,建立起用户画像。

这里我举个富国银行的例子,他们在数据转型中,利用数据中台分析用户的行为数据,来重构在线银行的网站,提升用户体验。富国银行在2016年的时候面临很大的业绩挑战,为了更好地了解用户,他们建立了企业级的数据中台,把全行的用户信息都打通,做成用户画像,打上各种标签,并根据这些用户画像和标签,重新设计了电子银行网站,让网站的服务和风格以用户为中心。

为期几年的数据转型之旅,富国银行也因此项目成为行业"零售之王",更多细节《富国银行的数据转型之旅》

提升资产利用率

分析、优化高价值资产,提升资产的利用率。

物流领域路径优化

物流企业做路径优化项目,提升人员和车辆使用率。过去,每天早上每区都有个经验丰富员工,统一规划前一天收到的派件和收件订单,把这些订单分给对应的小组。

这过程的目的就是最大化利用车辆、快递员两个核心资产。但这规划很复杂,因为不仅要考虑成本,还要考虑每个件积压时间不一、紧急程度不一、不同的地点路况对于车辆的要求也不一样等等,这些数据的采集、拉通、建模是很重要的基础工作而这一切都依赖与数据的打通。

建设数据中台,拉通数据后,派单收单的路径更优化了,更好分配给快递员,提升车辆使用率20%。

这场景就很典型,体现数据中台所支撑的智能规划业务的价值。

3.2 业务创新和转型

建设数据中台的第二个收益,实现业务创新和转型。四个主要的价值。

① 数字化产品创新

一个合作十多年海外房地产交易网站客户,定期和他们做黑客马拉松。

有次我们黑客马拉松的一个小组,通过数据分析发现一个小模式,有一群用户,在一段时间内高频访问网站,但不产生任何看房、卖房行为。最后数据分析发现这样的用户都有共同特点,大部分女性,基本访问链接停留时间最长的,很多都是图片,且是室内图片。

推测这群人是来看装修,于是小组孵化新产品,专门提供装修服务,这产品最后还成功了,成为公司除房地产中介服务之外的新业务线。

这也是典型的通过数据洞察发现业务新价值,从而实现数字化产品创新的场景。

② 数字化资产销售

将已积累的数据,通过组合、包装、分析、脱敏,形成对一部分用户有价值的数据资产,如行业报告或优质内容,直接销售产生收入。

典型场景搜索引擎,搜索引擎将用户的信息进行统计分析、脱敏处理后,变成一系列的知识和分析报告,然后以会员提供给需要用户。

百度指数里面,用户可定义和购买自己感兴趣的关键词,一年198元,然后百度就会把所有搜索过这个关键词的记录统计,变成这关键词的搜索指数。如数据中台的关键词就是我去年购买的,我就能实时追踪这个关键词在中文市场被搜索的热度。这就是数据化资产销售的价值模式。

③ 业务平台化收益

有一句话在去年很流行,"未来的企业,要么自己做平台,要么被别人平台化"。平台经济成为了这几年数字化领域炙手可热的概念。总的来说,平台化就是你搭建一个平台,让需求方和供给方上来交易,最后你来收取服务费。

如何建立平台呢?拉通一个领域数据,形成数字化平台,再通过平台运营一个特定的业务和客户群体,从而通过平台来产生收益。

典型场景 - 交易撮合平台,如比特币交易平台。这和数据中台啥关系?

这过程其实也是领域数据中台的建设过程,因为平台方主要做的就是数据的生意,对接信息、对接交易双方。数据中台在企业内部,就相当一个数据采集、加工、交易的平台,业务方既可能是数据服务的消费者,又可能是生产者,最终产品是数据服务。

④ 数字化生态业务

从更高维度来看,就是在平台化基础之上,通过打穿产业供应链,帮助企业建设自己数字化生态,从而在生态中产生新的业务价值和收入。如Google应用商店。

当有足够多的伙伴在这平台进行交易,它就能在这些海量的交易和行为数据发现特别多规律,然后产生更多产品创新,利用数据来牵引这生态朝自己设计方向发展。

这生态里,有很多角色参与,开发者、自由开发者、广告商、应用购买者等,而Google掌握所有方数据,用户浏览、下载、付费、交易,一切数据都能够被分析利用,帮助Google Play运营方发现新业务价值,创造收入。

4 总结

建设数据中台到底啥用,一个数据中台收益框架包括两大维度、九个细分项。最核心的就是给我们建设数据中台这件事找到目标,可把这9项作为指导,先明确价值和方向,再找到应用场景,以此作为牵引来建设自己的数据中台。

大部分企业要经历一个转型的,朝着数智化方向演进。企业的转型,从最早的信息化走向数字化,下一个目标是数智化。

信息化解决的是企业内部的管理问题,让企业能够以一个有组织、有流程的方式高效地运转起来。

数字化解决的是企业与外部的连接问题,让企业能够直接触达客户,并且建立线上的业务。 数智化解决的是让企业成为智能企业,业务更智慧的问题,这个过程的核心生产要素就是数据。

数智化转型能给企业带来颠覆性变革,但如何发现数据价值,构建数据智能的能力,规模化赋能业务?企业需要一个抓手,利用它对齐业务和技术,不断前进。数据中台就像这抓手,谁能围绕以上的业务优化和转型两个方面的价值来建设数据中台,谁就能在数智化转型中获得领先优势。

数据中台这股浪潮给我们提供机会,但这机会也提出很多、很高能力要求。

5 FAQ

成为数智化企业,都需要哪些能力呢?我做了众多个国内外领先企业的转型研究,发现了一些规律和有意思的事情。

数据中台概念出来时,有很多说法,从不同层面去分析,会发现所有问题的根源都来自"定位"这两个字。

  • 对程序员,数据中台可能是解决数据规范和数据钻取问题的一个良方
  • 对产品经理,数据中台可能是解决业务与数据融合的关键
  • 对中层管理者,数据中台是打通部门之间数据共享的重要依据
  • 对企业家来说,紧跟行业趋势,顺势而为,是讲一个好故事必不可少的部分

但有一点大势所趋,信息化->数字化->智能化,即数智化。

就像5G来临势必带动一些新独角兽。互联网中变化莫测的打法更像是古代军事战争。谁能敏锐察觉敌情,就能敏捷做出最快的反应。又像《三体》黑暗森林中所描述的那样。黑暗森林中的猎人,谁最先发现猎物,开枪。带来的是一系列的连锁效应。

我们公司是做数据采集(从各信息系统的关系数据库、大数据组件等多样存储介质抽取、转换、共享数据)服务;属于功能性产品,不了解业务,那我们能参与数据中台那部分工作?因为公司内部在讨论的时候,提到的更多观点也是,连数据模型定义都不清楚,怎么介入。

你所在公司主要做的数据集成工作,位于整个数据研发链路中,研发阶段的第一环节。

整个数据研发链路划分:

明白你从事的工作在数据中台数据研发链路中的位置后,来看你们如何参与数据中台中。

数据集成产品,参与到数据中台的链路:

  • 在数据导入时,建立数据源到数据中台表的数据链路关系,这样可将数据中台中表的血缘关系扩展到业务系统的数据源,当数据源发生变更时,我们可以第一时间获取到变更信息
  • 数据传输要与元数据中心打通,从元数据中心获取各种数据源信息
  • 数据集成,要注意既要支持批量数据的集成,也要支持实时数据的集成
  • 数据传输,要能够与数据开发任务,建立任务依赖关系,后续的数据清洗任务依赖于数据集成任务

至于数据模型定义不清楚,数据传输须接入元数据中心,在元数据中心中,对每张表,都有数据字典的定义,数据传输可以基于字段的格式,进行自适配。

相关推荐
间彧13 分钟前
Kubernetes的Pod与Docker Compose中的服务在概念上有何异同?
后端
间彧16 分钟前
从开发到生产,如何将Docker Compose项目平滑迁移到Kubernetes?
后端
间彧22 分钟前
如何结合CI/CD流水线自动选择正确的Docker Compose配置?
后端
间彧23 分钟前
在多环境(开发、测试、生产)下,如何管理不同的Docker Compose配置?
后端
间彧24 分钟前
如何为Docker Compose中的服务配置健康检查,确保服务真正可用?
后端
间彧28 分钟前
Docker Compose和Kubernetes在编排服务时有哪些核心区别?
后端
间彧34 分钟前
如何在实际项目中集成Arthas Tunnel Server实现Kubernetes集群的远程诊断?
后端
brzhang1 小时前
读懂 MiniMax Agent 的设计逻辑,然后我复刻了一个MiniMax Agent
前端·后端·架构
草明2 小时前
Go 的 IO 多路复用
开发语言·后端·golang
蓝-萧2 小时前
Plugin ‘mysql_native_password‘ is not loaded`
java·后端