非互联网与互联网数据平台的差异

我从2000年接触数据仓库,2008年进入互联网行业。不少从传统企业转来的同学都有同感:两类数据平台面向的用户群体明显不同。

非互联网数据平台的用户主要是老板和运营,依赖报表和BI分析师做分析挖掘;支撑者是ETL工程师、数据建模师、数据架构师和报表设计人员,他们同时是平台的建设方与使用方;技术框架由技术架构师、Java开发实现。数据源以结构化生产系统为主。

互联网数据平台则不同。员工更年轻、受教育程度更高,对计算机焦虑更低。平台由技术、数据产品推进建设,分析师直接参与建设的比重增加,原有数据仓库开发与模型架构师职能从建设转为服务与咨询。数据源更多样,包括日志、生产数据库数据、视频、音频等非结构化数据。

从发展历程看,非互联网时代大致经历五个阶段、四种架构:1991年前的全企业集成、1991年后的EDW时代、1994---1996年的数据集市、1996---1997年的架构之争、1998---2001年的合并年代。第一代架构以海尔BI项目为代表,ETL使用微软DTS;第二代以上海通用汽车为代表,采用准三范式建模,涉及十几种数据源,计划三年建成;此外还有银行数据集市、太平洋保险混合架构,以及2011年提出的OPDM操作型数据集市。

数据模型是平台建设的导航图,分概念、逻辑、物理三层。Inmon的EDW面向事务处理与数据管理,坚持最细粒度、保存历史;Kimball的DM面向分析过程,用星型、雪花模型提升查询性能。

互联网时代,数据平台服务方式大致经历三个阶段。2008---2011年,建设方式与非互联网相似,淘宝从2004年单节点起步,2010年引入Hadoop与Hive,模型采用退化、扁平化设计。2011---2014年,数据产品与数据产品经理兴起,平台分为面向用户的业务级产品和面向平台的工具型产品,部分ETL转换前置到业务系统。2014年后,用数据的角色直接参与数据整理与分析,平台全面开放,但也带来数据质量、重复存储、口径多样等问题,原有建设角色转向培训、咨询与落地支持。

相关推荐
CoderYanger8 小时前
A.每日一题:856. 括号的分数
java·程序人生·算法·leetcode·面试·职场和发展·学习方法
慧都小项19 小时前
从原理图到 PCB 制造数据:设计交付的 4 个核对关口
程序人生·自动化·pcb工艺·电子设计
个 人 练 习 生1 天前
C++ string 类模拟实现:从底层理解字符串(上)
开发语言·c++·经验分享·学习·程序人生
这个DBA有点耶2 天前
关系数据库管理系统选型指南:四步决策框架与主流产品技术路线对比
数据库·sql·程序人生·mysql·database·dba
涵美女程序猿2 天前
ChatCut online 剪 DNS 解析切换演练录屏:域名、权威区和 TTL 怎样对应
程序人生·电脑
CoderYanger3 天前
A.每日一题:1614. 括号的最大嵌套深度
java·程序人生·算法·leetcode·面试·学习方法
郝学胜-神的一滴4 天前
Numpy数据处理详解 01:NumPy 从环境搭建到入门上手
开发语言·人工智能·python·程序人生·数据分析·numpy
郝学胜-神的一滴5 天前
AI 编程智能体 05:拆解智能体分级体系、类型与全行业落地场景
开发语言·人工智能·python·程序人生·pycharm