企业《离线数仓项目》数据探索心得记录,数据探索有套路

思想

整体---细节:

探索一个系统所产生的数据,首先是从业务流程整体再到某个事实表细节。从大体到细节的过程。

熟悉整体框架:

先整体的了解业务流程,然后再根据某一个业务流程找到对应的事实表,然后再通过这张事实表的ID去关联其他事实表的ID,此步骤主要是为了将业务流程和业务事实表整体的数据关联打通,打通之后就得到了整个系统业务流程对应的事实表关联的整体框架。得到这个框架之后,这时就对整个业务流程以及业务流程所产生的表就比较清晰和熟悉了,因为你知道了整个业务的流程以及每一个流程所对应的事实表了。

探索事实表细节:

对整体业务框架和事实表有清晰的了解之后,再对某一个业务事实表进行展开细节探索,探索里面的字段对应的是什么,哪些业务操作产生的这些字段数据。然后再关联该事实表的维度表,知道该事实表对应关联了哪些维度表。

比如我想知道某个事实表中,有什么状态字段,该字段里面对应有什么状态就可以通过sql的group by来分组,看出有哪些状态信息。

这就是数据探索的大致思路。

探索的目的是为了后期项目使用,知道哪些业务对应的数据事实表,以及该表中存在和可能用到哪些字段。都要熟悉的了解,这样才能更高效的使用和利用数据。

相关推荐
此生只爱蛋5 分钟前
【Redis】主从复制
数据库·redis
马猴烧酒.24 分钟前
【面试八股|JAVA多线程】JAVA多线程常考面试题详解
java·服务器·数据库
天天爱吃肉82181 小时前
跟着创意天才周杰伦学新能源汽车研发测试!3年从工程师到领域专家的成长秘籍!
数据库·python·算法·分类·汽车
大巨头1 小时前
sql2008 数据库分页语句
数据库
m0_715575341 小时前
使用PyTorch构建你的第一个神经网络
jvm·数据库·python
老邓计算机毕设2 小时前
SSM智慧社区家政服务系统80q7o(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面
数据库·ssm 框架
松涛和鸣2 小时前
72、IMX6ULL驱动实战:设备树(DTS/DTB)+ GPIO子系统+Platform总线
linux·服务器·arm开发·数据库·单片机
likangbinlxa3 小时前
【Oracle11g SQL详解】UPDATE 和 DELETE 操作的正确使用
数据库·sql
r i c k3 小时前
数据库系统学习笔记
数据库·笔记·学习
野犬寒鸦3 小时前
从零起步学习JVM || 第一章:类加载器与双亲委派机制模型详解
java·jvm·数据库·后端·学习