第六章:数据工程(6.3数据治理和建模--6.4数据仓库和数据资源)

6.3数据治理

6.3.1 元数据

数据治理是开展数据价值化活动的基础,

6.3.2 数据标准化

数据标准化的主要内容包括 元数据标准化、数据元标准化、数据模式标准化和数据分类与编码标准化

数据标准化阶段的具体过程包括 确定数据需求、制定数据标准、批准数据标准和实施数据标准

6.3.3 数据质量

衡量数据质量的指标体系包括完整性、规范性、一致性、准确性、唯一性、及时性等。

数据质量描述:数据质量可以通过数据质量元素来描述

数据质量元素 分为数据质量定量元素和数据质量非定量元素

数据质量评价方法 分为:直接评价法和间接评价法

数据产品的质量控制 分为:前期控制和后期控制

6.3.4 数据模型

数据模型 描述
概念模型 不依赖于具体的计算机系统也不对应某个具体的DBMS,它是概念级别的模型
逻辑模型 逻辑模型是在概念模型的基础上确定模型的数据结构,目前主要的数据结构有层次模型、网状模型、关系模型、面向对象模型和对象关系模型。其中,关系模型成为目前最重要的一种逻辑数据模型
物理模型 物理数据模型是在逻辑数据模型的基础上,考虑各种具体的技术实现因素,进行数据库体系结构设计,真正实现数据在数据库中的存放。

6.3.5 数据建模

数据建模的过程包括: 数据需求分析、概念模型设计、逻辑模型设计和物理模型设计等

数据建模的过程 描述
数据需求分析 分析用户对数据的需要和要求。数据需求分析是数据建模的起点
概念模型设计 需求分析得到的结果抽象为概念模型的过程,任务是确定实体和数据及其关联
逻辑模型设计 转换为关系模型结构中的关系模式
物理模型设计 对具体的DBMS进行物理模型设计,使数据模型走向数据存储应用环节

6.4 数据仓库和数据资产

6.4.1 数据仓库

数据仓库是一个面向主题的、集成的、随时间变化的、包含汇总和明细的、稳定的历史数据集合。

数据仓库通常由数据源、数据的存储与管理、OLAP服务器、前端工具等组件构成。

数据仓库组件 描述
数据源 数据源是数据仓库系统的基础
数据的存储与管理 整个数据仓库系统的核心
OLAP服务器 以便进行多角度、多层次的分析,并发现趋势 可以分为:ROLAP(关系数据的关系在线分析处理)、MOLAP(多维在线分析处理)和HOLAP(混合在线分析处理)
前端工具 前端工具主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP服务器,报表工具、数据挖掘工具主要针对数据仓库

6.4.2 主题库

主题库建设可采用多层级体系结构,即数据源层、构件层、主题库层

层名称 描述
数据源层 存放各种管理表和数据的各类数据表
构件层 构件层包括基础构件和组合构件
主题库层 按业务需求通过构建组合,形成具有统一访问接口的主题库

6.4.3 数据资产管理

数据是一种重要的生产要素,把数据转化成可流通的数据要素,重点包含数据资源化、数据资产化两个环节

数字资源化: 通过将原始数据转变为数据资源,以数据治理为工作重点

数据资产化: 通过将数据资源转变为数据资产

数据资产流通 是指通过数据共享、数据开放或数据交易等流通模式

数据价值评估 是数据资产管理的关键环节,是数据资产化的价值基线

PS: 更多关于 系统集成项目管理工程师笔记 点击专栏订阅(持续更新~~~)

相关推荐
JessieZeng aaa3 小时前
CSV文件数据导入hive
数据仓库·hive·hadoop
Yz98769 小时前
hive复杂数据类型Array & Map & Struct & 炸裂函数explode
大数据·数据库·数据仓库·hive·hadoop·数据库开发·big data
EDG Zmjjkk11 小时前
Hive 函数(实例操作版2)
数据仓库·hive·hadoop
B站计算机毕业设计超人11 小时前
计算机毕业设计SparkStreaming+Kafka新能源汽车推荐系统 汽车数据分析可视化大屏 新能源汽车推荐系统 汽车爬虫 汽车大数据 机器学习
数据仓库·爬虫·python·数据分析·kafka·数据可视化·推荐算法
Moshow郑锴12 小时前
数据库、数据仓库、数据湖、数据中台、湖仓一体的概念和区别
大数据·数据库·数据仓库·数据湖·湖仓一体
Yz98761 天前
Hive分桶超详细!!!
大数据·数据仓库·hive·hadoop·hdfs·数据库开发·big data
Francek Chen1 天前
【大数据技术基础 | 实验十一】Hive实验:新建Hive表
大数据·数据仓库·hive·hadoop·分布式
Dreams°1231 天前
【大数据测试ETL:从0-1实战详细教程】
大数据·数据仓库·python·单元测试·etl
liuweni2 天前
PuppyGraph:实时图查询引擎,无需ETL
数据仓库·etl
锵锵锵锵~蒋2 天前
实时数据研发 | Flink技术栈
大数据·数据仓库·flink·数据研发