企业《离线数仓项目》数据探索心得记录,数据探索有套路

思想

整体---细节:

探索一个系统所产生的数据,首先是从业务流程整体再到某个事实表细节。从大体到细节的过程。

熟悉整体框架:

先整体的了解业务流程,然后再根据某一个业务流程找到对应的事实表,然后再通过这张事实表的ID去关联其他事实表的ID,此步骤主要是为了将业务流程和业务事实表整体的数据关联打通,打通之后就得到了整个系统业务流程对应的事实表关联的整体框架。得到这个框架之后,这时就对整个业务流程以及业务流程所产生的表就比较清晰和熟悉了,因为你知道了整个业务的流程以及每一个流程所对应的事实表了。

探索事实表细节:

对整体业务框架和事实表有清晰的了解之后,再对某一个业务事实表进行展开细节探索,探索里面的字段对应的是什么,哪些业务操作产生的这些字段数据。然后再关联该事实表的维度表,知道该事实表对应关联了哪些维度表。

比如我想知道某个事实表中,有什么状态字段,该字段里面对应有什么状态就可以通过sql的group by来分组,看出有哪些状态信息。

这就是数据探索的大致思路。

探索的目的是为了后期项目使用,知道哪些业务对应的数据事实表,以及该表中存在和可能用到哪些字段。都要熟悉的了解,这样才能更高效的使用和利用数据。

相关推荐
花青泽1 小时前
5-数据库-SQL注入-联合查询-关键字绕过-day13
数据库·sql
天桥下的卖艺者7 小时前
使用scitable包,两步生成逆概率删失权重(IPCW)
数据库·r语言
隔窗听雨眠7 小时前
AI原生数据库浪潮:国产数据库的架构重构与路径之争
数据库
数据库小学妹8 小时前
数据库选型实战:从数据类型到TCO成本,五维决策框架+九款产品横评
数据库·信创·国产数据库·数据库选型·oracle迁移
神龙天舞20019 小时前
MySQL 备库为什么会延迟好几个小时
android·数据库·mysql
丙氨酸長鏈10 小时前
Web前端入门第 问:JavaScript 一个简单的 IndexedDB 数据库入门示例
前端·javascript·数据库
独行侠影a10 小时前
APScheduler+Redis 分布式定时任务:解决多实例任务重复执行
数据库·redis·分布式
传说故事11 小时前
数据库中一些常用英文单词含义
数据库·oracle
夏贰四11 小时前
中小企业搭建业务中台如何控成本?业务中台轻量化落地分几步实施?
数据库·业务中台
林焱RPA12 小时前
影刀RPA200篇纪念版:最实用的20个自动化场景大盘点
数据库