数据仓库:规范

1.建表规范

1.1. 表命名规范

ods:ods_库名_表名_di(df) 存储贴源数据

dwd:dwd_业务体系_数据域_主题域_业务过程,存储业务过程的明细数据

dim: dim_实体, 如会员:dim_user,dim_product_info

dws:dws_业务体系_数据域_主题域_业务过程_简要描述,存储聚合集市数据

rpt:rpt_业务体系_数据域_主题域_业务过程_简要描述, 报表数据

di:di_业务体系_数据域_主题域_业务过程_简要描述,接口数据

to_:to_业务体系_数据域_主题域_业务过程_简要描述, 出仓数据

过渡临时数据一般会有tmp_开头,或者生成临时库,视具体情况而定

依赖频率会有 2h,1h,30min,15min等等

1.2.字段命名规范:

金额 amt

去重:cnt

计数:num

字段命名原则:业务过程_修饰词_度量_时间

1.3.字段类型:

bigint,decimal(18,4),string,timestamp(视情况而定,有时候统一处理为string),date

1.4.字段值

模型层度量的话,要填充0

维度和时间类的,不作强制约束

1.5.分区

命名:视情况而定,日期格式一般为:yyyymmdd或yyyy-mm-dd

2.开发规范

2.1.禁止 select *

视不同的技术平台,会有略差异

3.作业

3.1.每个作业对应一个目标表

3.2.对源表的要求:update_time,建立索引,及自动获取系统时间

4.其他

4.1.开发时,下游(未来)复用到一定程序,需要落模型

4.2.上下游依赖层次不可过多

4.3.一张ODS产生一个模型层,也不合理,多张表关系的数据,一般会出模型

相关推荐
W***25929 小时前
2026企业AI办公工具选型指南:适合团队使用的AI办公产品有哪些
大数据·人工智能
2601_962966649 小时前
2027校招:数据科学与大数据技术专业转增长运营,从SQL到业务技能与证书准备
大数据
Smoothcloud润云10 小时前
GPU算力平台推荐:新手租GPU时,镜像环境和显存应该怎么选?
大数据·人工智能·pytorch·分布式·深度学习·gpu算力
猴子155168110 小时前
问卷系统集成到底该选哪一家?2026先想清要接什么系统再横评
大数据·经验分享
科创致远10 小时前
2026轻MES行业数字化转型痛点与ROI报告 ——面向中小制造企业的轻量化生产管理与价值评估
大数据·人工智能·制造
ha_lydms11 小时前
Table Functions(表函数)
大数据·hadoop·阿里云·spark·数据处理·dataworks·maxcompute
GOWIN革文品牌咨询11 小时前
长周期B2B线索培育的系统设计:状态字段、触发器与转交条件
大数据·架构
程序员大阳12 小时前
副队长大数据教程(6)--四节点分布式集群搭建
大数据·分布式·集群·搭建·四节点
科技看点说12 小时前
SAP B1如何支撑高科技与精密制造?项目、物料、委外与成本管理解析
大数据·人工智能
益莱储中国13 小时前
益莱储任命 Vincent Kwa为亚太区副总裁兼总经理
大数据·人工智能