hadoop学习---基于Hive的数仓搭建增量信息拉链表的实现

拉链表就是SCD2,它的优点是即满足了反应数据的历史状态,又能在最大程度上节省存储。

拉链表的实现需要在原始字段基础上增加两个新字段:

  1. start_time(表示该条记录的生命周期开始时间------周期快照时的状态)
  2. end_time(该条记录的生命周期结束时间)

采集实现步骤

  1. 建立增量数据临时表update;
  2. 抽取昨日增量数据(新增和更新)到update表;
  3. 建立合并数据临时表tmp;
  4. 合并昨日增量数据(update表)与历史数据(拉链表):
    1. 新数据end_time设为'9999-12-31',也就是当前有效;
    2. 如果增量数据有重复id的旧数据,将旧数据end_time更新为前天(昨日-1),也就是从昨天开始不再生效;
    3. 合并后的数据写入tmp表;
  5. 将临时表的数据,覆盖到拉链表中;
  6. 下次抽取需要重建update表和tmp表。
  7. 查询拉链表数据时,可以通过start_time和end_time查询出快照数据。

小结:

当每日采集增量信息时,采用拉链表的方式,通常在原始信息表中增加有效信息开始时间start_time和结束时间end_time两个字段,先将改变或新增的信息提取出来组成一张新表,再将新表与原始表做右外联接,重新抽取字段更新end_time字段信息,目的是改变原始表的旧信息的end_time时间,最后将更新后的原始表和新增的更新信息表进行union all 操作,并将结果覆盖到hive数据库中。

也就是原有hive数据库中的表不变,想办法更新旧信息的end_time时间,同时将新增信息后改写后的信息重新新增一行到原始数据表中即可。

案例流程:

相关推荐
core512几秒前
Hive实战(二)
数据仓库·hive·hadoop
长安——归故李28 分钟前
【modbus学习】
java·c语言·c++·学习·算法·c#
索迪迈科技30 分钟前
STL库——map/set(类函数学习)
开发语言·c++·学习
我命由我1234536 分钟前
Excel 表格 - Excel 减少干扰、专注于内容的查看方式
学习·ui·excel·photoshop·表格·ps·美工
我命由我1234538 分钟前
Excel 表格 - Excel 单元格添加边框
学习·ui·excel·课程设计·photoshop·ps·美工
人生游戏牛马NPC1号1 小时前
学习 Android (二十一) 学习 OpenCV (六)
android·opencv·学习
普蓝机器人2 小时前
AutoTrack-IR-DR200底盘仿真详解:为教育领域打造的高效机器人学习实验平台
人工智能·学习·计算机视觉·机器人·移动机器人·三维仿真导航
带鱼吃猫2 小时前
C++的诗行:一文读懂C++的继承机制
开发语言·c++·学习·visual studio
奋斗的蛋黄2 小时前
大数据与云计算知识点
大数据·hadoop·云计算
东风西巷3 小时前
Atlantis Word Processor:全方位的文字处理专家
前端·学习·word·软件需求