企业《离线数仓项目》数据探索心得记录,数据探索有套路

思想

整体---细节:

探索一个系统所产生的数据,首先是从业务流程整体再到某个事实表细节。从大体到细节的过程。

熟悉整体框架:

先整体的了解业务流程,然后再根据某一个业务流程找到对应的事实表,然后再通过这张事实表的ID去关联其他事实表的ID,此步骤主要是为了将业务流程和业务事实表整体的数据关联打通,打通之后就得到了整个系统业务流程对应的事实表关联的整体框架。得到这个框架之后,这时就对整个业务流程以及业务流程所产生的表就比较清晰和熟悉了,因为你知道了整个业务的流程以及每一个流程所对应的事实表了。

探索事实表细节:

对整体业务框架和事实表有清晰的了解之后,再对某一个业务事实表进行展开细节探索,探索里面的字段对应的是什么,哪些业务操作产生的这些字段数据。然后再关联该事实表的维度表,知道该事实表对应关联了哪些维度表。

比如我想知道某个事实表中,有什么状态字段,该字段里面对应有什么状态就可以通过sql的group by来分组,看出有哪些状态信息。

这就是数据探索的大致思路。

探索的目的是为了后期项目使用,知道哪些业务对应的数据事实表,以及该表中存在和可能用到哪些字段。都要熟悉的了解,这样才能更高效的使用和利用数据。

相关推荐
RestCloud2 分钟前
在制造业数字化转型浪潮中,数据已成为核心生产要素。然而,系统割裂、数据滞后、开发运维成本高等问题,却像顽固的 “数据枷锁”,阻碍着企业发展。ETLCloud与
数据库·postgresql
!chen13 分钟前
【Spring Boot】自定义starter
java·数据库·spring boot
十碗饭吃不饱1 小时前
sql报错:java.sql.SQLSyntaxErrorException: Unknown column ‘as0‘ in ‘where clause‘
java·数据库·sql
我是Superman丶1 小时前
【优化】Mysql指定索引查询或忽略某个索引
数据库·mysql
程序定小飞1 小时前
基于springboot的在线商城系统设计与开发
java·数据库·vue.js·spring boot·后端
呆呆小金人1 小时前
SQL入门: HAVING用法全解析
大数据·数据库·数据仓库·sql·数据库开发·etl·etl工程师
LL_break2 小时前
Mysql数据库
java·数据库·mysql
野犬寒鸦2 小时前
从零起步学习Redis || 第十一章:主从切换时的哨兵机制如何实现及项目实战
java·服务器·数据库·redis·后端·缓存
倔强的石头_2 小时前
面向大数据架构的演进:为何 Apache IoTDB 是与生态无缝融合的理想之选?
数据库
Elastic 中国社区官方博客3 小时前
如何减少 Elasticsearch 集群中的分片数量
大数据·数据库·elasticsearch·搜索引擎·全文检索