【数据仓库-零】数据仓库知识体系 ing

文章目录

  • [一. 数仓基本概念](#一. 数仓基本概念)
  • [二. 离线数仓建设方法论](#二. 离线数仓建设方法论)
  • [三. etl流程](#三. etl流程)
  • [四. 数仓规范建设指南](#四. 数仓规范建设指南)
  • [四. 数据仓库架构](#四. 数据仓库架构)
  • [五. 数据可视化](#五. 数据可视化)

通过熟悉构建数仓整体的过程,可以系统的了解

  • 数仓构建理论:能够站在全局角度看数仓的运行架构,数仓执行流程。
  • 了解到构建数仓的每一步对应使用哪些技术;

总之学习数仓为我们提供了构建、管理和优化大数据架构的关键技能和知识。

接下来我们了解下数据仓库都有哪些知识点需要我们进行学习:

一. 数仓基本概念

  • 数据仓库基础概念:
    数据仓库概念、
  • 数据仓库架构:有如下架构:
    1.数据集市、2.immon企业工厂架构、3. Kimball数据仓库架构、4.混合型数据架构
  • 数据仓库常见术语解析:维度模型和事实表

二. 离线数仓建设方法论

  1. 数仓分层方法
  2. 数仓建模方法:有如下三种方法:
    --(三)范式法
    -- 维度建模法
    -- 实体建模法
  3. 维度建模详解

维度建模和星型雪花模型的原则

三. etl流程

  1. 了解数据抽取、转换和加载的概念
  2. ETL工具都有哪些:flink、hive等
  3. 如何进行数据清洗、转换和汇总

四. 数仓规范建设指南

  1. 数仓公共开发规范,见如下开发规范
    -- 层次调用规范
    -- 数据类型规范
    -- 数据冗余规范
    -- NULL字段处理规范
    -- 指标口径规范
    -- 数据表处理规范
    -- 表的生命周期管理
  2. 数仓各层开发规范,见如下规范
    -- ODS层设计规范
    -- 公共维度层设计规范
    -- DWD明细层设计规范
    -- DWS公共汇总层设计规范
  3. 数仓命名规范:词根设计规范

四. 数据仓库架构

数据仓库典型架构

数据仓库与数据湖、数据集市等概念的关系和区别。

五. 数据可视化

常见的数据可视化工具

如何设计仪表板和报表

相关推荐
Gain_chance7 小时前
36-学习笔记尚硅谷数仓搭建-DWS层数据装载脚本
大数据·数据仓库·笔记·学习
Gain_chance8 小时前
35-学习笔记尚硅谷数仓搭建-DWS层最近n日汇总表及历史至今汇总表建表语句
数据库·数据仓库·hive·笔记·学习
心疼你的一切1 天前
解密CANN仓库:AIGC的算力底座、关键应用与API实战解析
数据仓库·深度学习·aigc·cann
十月南城1 天前
Hive与离线数仓方法论——分层建模、分区与桶的取舍与查询代价
数据仓库·hive·hadoop
AI架构师小马1 天前
Hive调优手册:从入门到精通的完整指南
数据仓库·hive·hadoop·ai
Gain_chance2 天前
33-学习笔记尚硅谷数仓搭建-DWS层交易域用户粒度订单表分析及设计代码
数据库·数据仓库·hive·笔记·学习·datagrip
心疼你的一切2 天前
昇腾CANN实战落地:从智慧城市到AIGC,解锁五大行业AI应用的算力密码
数据仓库·人工智能·深度学习·aigc·智慧城市·cann
心疼你的一切2 天前
基于CANN仓库打造轻量级AIGC:一键生成图片语义描述
数据仓库·aigc·cann
AC赳赳老秦3 天前
代码生成超越 GPT-4:DeepSeek-V4 编程任务实战与 2026 开发者效率提升指南
数据库·数据仓库·人工智能·科技·rabbitmq·memcache·deepseek
心疼你的一切3 天前
拆解 CANN 仓库:实现 AIGC 文本生成昇腾端部署
数据仓库·深度学习·aigc·cann