企业《离线数仓项目》数据探索心得记录,数据探索有套路

思想

整体---细节:

探索一个系统所产生的数据,首先是从业务流程整体再到某个事实表细节。从大体到细节的过程。

熟悉整体框架:

先整体的了解业务流程,然后再根据某一个业务流程找到对应的事实表,然后再通过这张事实表的ID去关联其他事实表的ID,此步骤主要是为了将业务流程和业务事实表整体的数据关联打通,打通之后就得到了整个系统业务流程对应的事实表关联的整体框架。得到这个框架之后,这时就对整个业务流程以及业务流程所产生的表就比较清晰和熟悉了,因为你知道了整个业务的流程以及每一个流程所对应的事实表了。

探索事实表细节:

对整体业务框架和事实表有清晰的了解之后,再对某一个业务事实表进行展开细节探索,探索里面的字段对应的是什么,哪些业务操作产生的这些字段数据。然后再关联该事实表的维度表,知道该事实表对应关联了哪些维度表。

比如我想知道某个事实表中,有什么状态字段,该字段里面对应有什么状态就可以通过sql的group by来分组,看出有哪些状态信息。

这就是数据探索的大致思路。

探索的目的是为了后期项目使用,知道哪些业务对应的数据事实表,以及该表中存在和可能用到哪些字段。都要熟悉的了解,这样才能更高效的使用和利用数据。

相关推荐
小小龙学IT2 分钟前
Python SQLAlchemy 2.0 深度解析:从 Core 到 ORM 的数据访问双引擎
开发语言·数据库·python
DongQiShanRen25 分钟前
裁决台账双向互校(上):名册与实物的第一道对账
java·linux·运维·数据库·人工智能·自然语言处理·数据挖掘
ShineWinsu30 分钟前
对于Redis:AOF持久化的解析
linux·数据库·redis·缓存·面试·持久化·aof
仍然.38 分钟前
Redis---集群
数据库·redis·缓存
Allstar_4341 分钟前
DV/PV 验证管理:为量产放行提供完整证据链——全星研发项目管理 APQP 软件系统汽车电子行业专业级研发项目管理平台
数据库·汽车
小范的技术工坊1 小时前
向量数据库解决了什么问题?
数据库
小蒜学长1 小时前
在线保险服务与管理平台的设计与实现(代码+数据库+LW)
java·数据库·spring boot·后端·服务平台·在线保险
做运维的阿瑞2 小时前
SQL 面试高频:用户、商品、订单三表查询全解析
数据库·sql·mysql
CJi0NG3 小时前
【自用】MySQL - 语法:DDL、DML、DQL、DCL
数据库·mysql
姜鱼问生3 小时前
数据库备份 + 灾难恢复演练:从 dump 恢复全库
运维·数据库