数据仓库标准库模型架构相关概念浅讲

数据仓库与模型体系及相关概念

数据仓库与数据库的区别可参考:数据库与数据仓库的区别及关系_数据仓库和数据库-CSDN博客

总之,数据库是为捕获数据而设计,数据仓库是为分析数据而设计

数据仓库集成工具

在一些大厂中,其会有自己的数据仓库集成工具。如京东内部数仓集成工具为数据星图,我们可以通过该工具拿到各领域的模型,字段,实时消息,生产库表等数据。

数据仓库架构

下图是一个标准数据仓库架构的示例图,可能不是很准确。

对于我们来讲只需要了解数仓数据提取的步骤:

  1. 数仓中的数据经数据源提测到一个缓存层(按天分区,大致保存7天数据)一般采用增量抽取策略
  2. 再由缓冲层提取至基础数据层。一般采用拉链抽取方式。
  3. 可定义表名以chain结尾的表示为拉链存储形式,不是所有数据都适合拉链更新,像流量这种没有变更概念的数据,比较适合采用增量存储的形式。
  4. 拉链表存储的数据较多,如何区分最新有效的数据?
    答: 用 dp=active 分区中的数据,该分区标记最新且有效的数据

什么是增量抽取,全量抽取,拉链抽取?请接着往下看!

数据仓库抽取策略

数据仓库中的数据由数据集成平台将源数据库中的表,数据抽取过来。我们需要定义抽取策略,主要抽取策略有全量抽取,增量抽取,拉链抽取这三类。

全量抽取比较好理解每次将源数据库中所有数据全部抽取到数据仓库,会覆盖数据仓库之前的数据。

主要讲下增量抽取,拉拉链抽取二者的区别

  • 增量抽取 :增量抽取是指每次只抽取自上次抽取以来源数据库中新增或修改的数据 。通常需要源数据库中存在能够标识数据变化的字段,如时间戳字段(记录数据的创建时间或最后修改时间)或自增的版本号字段等。例如,在一个订单表中,有一个 update_time 字段记录订单的最后修改时间,增量抽取时可以通过比较这个时间戳,只抽取 update_time 大于上次抽取时间的数据。
  • 拉链抽取 :拉链抽取不是基于数据的增量变化,而是基于数据的生命周期来记录数据的历史变化。它会在数据仓库中为每一条数据记录维护一个生效时间和失效时间(或截止时间),通过这两个时间字段来标识数据在历史上的有效性。例如,员工的职位信息可能会发生变化,每次变化时,拉链抽取会在数据仓库中插入一条新记录,记录变化后的职位信息,并更新上一条记录的失效时间,同时新记录的生效时间为变化发生的时间,失效时间为无穷大(或一个特定的未来时间)。
相关推荐
数据与人工智能律师2 分钟前
数字资产革命中的信任之锚:RWA法律架构的隐形密码
大数据·网络·人工智能·云计算·区块链
Edingbrugh.南空1 小时前
Flink OceanBase CDC 环境配置与验证
大数据·flink·oceanbase
全星0071 小时前
解锁研发高效密码:全星研发项目管理APQP软件的多维助力
大数据·汽车
时序数据说3 小时前
为什么时序数据库IoTDB选择Java作为开发语言
java·大数据·开发语言·数据库·物联网·时序数据库·iotdb
Codebee3 小时前
OneCode图表配置速查手册
大数据·前端·数据可视化
Jamie201901064 小时前
高档宠物食品对宠物的健康益处有哪些?
大数据·人工智能
陈敬雷-充电了么-CEO兼CTO4 小时前
推荐算法系统系列>推荐数据仓库集市的ETL数据处理
大数据·数据库·数据仓库·数据挖掘·数据分析·etl·推荐算法
小高不会迪斯科5 小时前
MIT 6.824学习心得(1) 浅谈分布式系统概论与MapReduce
大数据·mapreduce
TDengine (老段)5 小时前
使用 StatsD 向 TDengine 写入
java·大数据·数据库·时序数据库·iot·tdengine·涛思数据
Gauss松鼠会5 小时前
GaussDB权限管理:从RBAC到精细化控制的企业级安全实践
大数据·数据库·安全·database·gaussdb