数据治理-数据仓库和商务智能

业务驱动因素

数据仓库建设的主要驱动力是运营支持职能、合规需求和商务智能活动。

一个组织建设数据仓库的目标

  1. 支持商务智能活动
  2. 赋能商业分析和高效决策
  3. 基于数据洞察寻找创新方法。

一个组织应遵循如下指导原则

  1. 聚焦业务目标
  2. 以终为始
  3. 全局性的思考和设计,局部性的行动和建设
  4. 总结并持续优化
  5. 提升透明度和自助服务
  6. 与数据仓库一起建立元数据
  7. 协同
  8. 不要千篇一律

数据仓库建设

数据仓库建设指的是数据仓库中数据的抽取、清洗、转换、控制、加载等操作过程。传统上的数仓建设,主要关注结构化数据。商务智能和数仓空间现在也包含半结构化数据和非结构化数据。

数仓建设的方法

数仓建设的理论,都受到两位有影响力的思想领袖Bill Inmon和Ralph Kimball的影响,他们各有不同数据仓库建模和实施方法。Inmon把数据仓库定义为面向主题的、整合的、随时间变化、相对稳定的支持管理决策的集合。用规范化的关系模型来存储和管理数据。而Kimball则把数据仓库定义为"为查询和分析定制的交易数据的副本"。

两者遵循的核心理念相似:

  1. 数据仓库存储的数据来自其他系统
  2. 存储行为包括以提升数据价值的方式整合数据;
  3. 数据仓库便于数据被访问和分析使用;
  4. 组织建设数据仓库,因为他们需要让授权的利益相关方访问到可靠的、集成的数据;
  5. 数据仓库数据建设有很多目的,涵盖工作流支持、运营管理和预测分析。

数据仓库和业务系统的区别

  1. 面向主题的。数据仓库是基于主要业务实体组织的,而不关注功能或应用;
  2. 整合的。数据仓库中的数据是统一的、内聚的。保持相同的关键结构,结构的编码和解码、数据定义和命名规范在整个仓库中都是一致的。因为数据是整合的,数据仓库不是简单的运营数据的副本。

​​​​​​​数据仓库和数据集市的数据与应用程序中的数据不同

  1. 数据的组织形式是按主题域而不是按功能需要
  2. 数据是整合的数据,而不是孤立的烟囱数据
  3. 数据是随时间变化的系列数据,而非仅当前时间的值
  4. 数据在数据仓库中的延迟比在应用程序中高
  5. 数据仓库中提升的历史数据比应用程序中提供的历史数据多

​​​​​​​多维数据仓库

Kimball的多维数据仓库是数据仓库开发的另一个主要模式;多维模型通常成为星型模型,由事实表和维度表组成。

相关推荐
数据智能老司机7 分钟前
数据工程设计模式——数据基础
大数据·设计模式·架构
笨蛋少年派1 小时前
HDFS简介
大数据·hadoop·hdfs
zskj_qcxjqr1 小时前
数字大健康浪潮下:智能设备重构人力生态,传统技艺如何新生?
大数据·人工智能·科技·机器人
1024find3 小时前
Spark on k8s部署
大数据·运维·容器·spark·kubernetes
计算机编程-吉哥11 小时前
大数据毕业设计-基于大数据的NBA美国职业篮球联赛数据分析可视化系统(高分计算机毕业设计选题·定制开发·真正大数据·机器学习毕业设计)
大数据·毕业设计·计算机毕业设计选题·机器学习毕业设计·大数据毕业设计·大数据毕业设计选题推荐·大数据毕设项目
计算机编程-吉哥11 小时前
大数据毕业设计-基于大数据的BOSS直聘岗位招聘数据可视化分析系统(高分计算机毕业设计选题·定制开发·真正大数据·机器学习毕业设计)
大数据·毕业设计·计算机毕业设计选题·机器学习毕业设计·大数据毕业设计·大数据毕业设计选题推荐·大数据毕设项目
RunningShare13 小时前
从“国庆景区人山人海”看大数据处理中的“数据倾斜”难题
大数据·flink
Hello.Reader14 小时前
Flink 执行模式在 STREAMING 与 BATCH 之间做出正确选择
大数据·flink·batch
文火冰糖的硅基工坊16 小时前
《投资-99》价值投资者的认知升级与交易规则重构 - 什么是周期性股票?有哪些周期性股票?不同周期性股票的周期多少?周期性股票的买入和卖出的特点?
大数据·人工智能·重构·架构·投资·投机
Elastic 中国社区官方博客16 小时前
Elasticsearch:使用推理端点及语义搜索演示
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索