大数据开发之数据仓库

引言

最近工作中引入了模型策略,所以在平时会在数仓上进行一些作业开发,分析数据,今天就基础性的了解下数仓的架构。

什么是数仓?

数仓(数据仓库,Data Warehouse),就是一种数据库,不过它被专门设计用于支持企业决策分析和报告操作;

通常用于存储和管理来自多个业务系统的数据,使企业能够进行深入的数据分析和挖掘,从而改进业务决策。

数仓的架构

数据源

数仓一般会支持多种数据源接入,如MySQL、Spark、Flink、硬盘文件等。

ETL数据清洗

即**(Extract, Transform, Load)过程**:包括数据的清洗、转换和加载;以确保数据质量和数据准确性。

数据存储

考虑到企业级业务的数据量大,存储成本较高;一般用Hadoop存储原始数据;

不过清洗后的内容,数据量通常会越来越少,可以根据查询性能、写入导出频率选择不同的存储方案。

数据层 存储方案 存储格式 应用场景
ODS(原始数据层) Hadoop HDFS Parquet 存储原始订单、用户行为数据
DW(数据仓库层) Amazon Redshift 列式存储 存储清洗后的订单、用户数据
DM(数据集市层) MySQL 行式存储 存储销售部门的销售分析数据
归档层 Amazon S3 Glacier - 存储历史订单数据(5年以上)

查询分析

数据处理:使用 Spark SQL 进行数据清洗、转换和分析。

结果存储:将分析结果写回 MySQL 或其他数据库,供业务系统使用。

其中SQL执行过程,还涉及到资源调度、批处理等核心提效手段,具体的资源调度策略与批处理方式需要结合hadoop食用。

维度 批处理 资源调度
核心目标 高效执行批量任务 动态分配和管理计算资源
技术实现 Hadoop、Spark、Flink YARN、Kubernetes、Mesos
优化方向 数据本地性、任务拆分、弹性伸缩 公平调度、抢占式调度、资源预留
相关推荐
数据与人工智能律师1 小时前
数据淘金时代的法治罗盘:合法收集、使用与变现数据的边界与智慧
大数据·网络·人工智能·云计算·区块链
阿祥~1 小时前
windows 安装 TDengine
大数据·时序数据库·tdengine
武子康1 小时前
大数据-136 - ClickHouse 集群 表引擎详解 选型实战:TinyLog/Log/StripeLog/Memory/Merge
大数据·分布式·后端
北邮-吴怀玉4 小时前
2.2.1.3 大数据方法论与实践指南-文档管理规范
大数据·数据治理
B站_计算机毕业设计之家5 小时前
计算机视觉:python车牌识别检测系统 YOLOv8 深度学习pytorch技术 LPRNet车牌识别算法 CCPD2020数据集 ✅
大数据·python·深度学习·机器学习·计算机视觉·数据分析·车牌识别
FreeBuf_8 小时前
从“策略对抗”到“模型对抗”:朴智平台如何重塑金融风控新范式?
大数据·人工智能
HitpointNetSuite9 小时前
连锁餐饮行业ERP如何选择:为何Oracle NetSuite成为增长新引擎
大数据·运维·数据库·oracle·netsuite
EasyCVR14 小时前
从汇聚到智能:解析视频融合平台EasyCVR视频智能分析技术背后的关键技术
大数据·人工智能
hqyjzsb16 小时前
2025文职转行AI管理岗:衔接型认证成为关键路径
大数据·c语言·人工智能·信息可视化·媒体·caie
sniper_fandc16 小时前
Elasticsearch从入门到进阶——分布式特性
大数据·分布式·elasticsearch