数据仓库:规范

1.建表规范

1.1. 表命名规范

ods:ods_库名_表名_di(df) 存储贴源数据

dwd:dwd_业务体系_数据域_主题域_业务过程,存储业务过程的明细数据

dim: dim_实体, 如会员:dim_user,dim_product_info

dws:dws_业务体系_数据域_主题域_业务过程_简要描述,存储聚合集市数据

rpt:rpt_业务体系_数据域_主题域_业务过程_简要描述, 报表数据

di:di_业务体系_数据域_主题域_业务过程_简要描述,接口数据

to_:to_业务体系_数据域_主题域_业务过程_简要描述, 出仓数据

过渡临时数据一般会有tmp_开头,或者生成临时库,视具体情况而定

依赖频率会有 2h,1h,30min,15min等等

1.2.字段命名规范:

金额 amt

去重:cnt

计数:num

字段命名原则:业务过程_修饰词_度量_时间

1.3.字段类型:

bigint,decimal(18,4),string,timestamp(视情况而定,有时候统一处理为string),date

1.4.字段值

模型层度量的话,要填充0

维度和时间类的,不作强制约束

1.5.分区

命名:视情况而定,日期格式一般为:yyyymmdd或yyyy-mm-dd

2.开发规范

2.1.禁止 select *

视不同的技术平台,会有略差异

3.作业

3.1.每个作业对应一个目标表

3.2.对源表的要求:update_time,建立索引,及自动获取系统时间

4.其他

4.1.开发时,下游(未来)复用到一定程序,需要落模型

4.2.上下游依赖层次不可过多

4.3.一张ODS产生一个模型层,也不合理,多张表关系的数据,一般会出模型

相关推荐
陕西企来客7 小时前
2026年7月AI智能搜索曝光趋势研判
大数据·人工智能·机器学习·ai智能搜索曝光
hangyuekejiGEO9 小时前
GEO技术服务选型指南
大数据·人工智能·python
风途科技~11 小时前
雷达与压力一体式设计,可同时选用或单独选用—一体式管网液位计灵活配置
大数据·人工智能
大大大大晴天12 小时前
浅析StarRocks 表设计:表类型、分布策略与索引
大数据
APItesterCris13 小时前
Open Claw 实战教程:5 分钟搭建京东商品自动化监控与数据分析系统
大数据·运维·数据库·数据仓库·自动化
全栈派森15 小时前
告别大表膨胀!MySQL 冷热分离落地全过程(含 CDC 与单行锁抢占实战)
大数据·mysql
LinuxGeek102416 小时前
Kylin-Server-V11、openEuler-22.03和openEuler-24.03适配原生rpm的MySQL 8.4.11版本正式发布
大数据·mysql·kylin
2601_9625029016 小时前
点胶点钻机运动控制与视觉定位系统解析:精度、算法与工程实现
大数据·架构
阿部多瑞 ABU17 小时前
正反馈的死亡螺旋:数字资本时代泛二次元文化-情感-金融复合体的系统性分析
大数据·人工智能·金融
zhbcddxr18 小时前
GEO服务商度量监测能力测评:可见度追踪与报表排行
大数据·人工智能·microsoft