大数据开发之数据仓库

引言

最近工作中引入了模型策略,所以在平时会在数仓上进行一些作业开发,分析数据,今天就基础性的了解下数仓的架构。

什么是数仓?

数仓(数据仓库,Data Warehouse),就是一种数据库,不过它被专门设计用于支持企业决策分析和报告操作;

通常用于存储和管理来自多个业务系统的数据,使企业能够进行深入的数据分析和挖掘,从而改进业务决策。

数仓的架构

数据源

数仓一般会支持多种数据源接入,如MySQL、Spark、Flink、硬盘文件等。

ETL数据清洗

即**(Extract, Transform, Load)过程**:包括数据的清洗、转换和加载;以确保数据质量和数据准确性。

数据存储

考虑到企业级业务的数据量大,存储成本较高;一般用Hadoop存储原始数据;

不过清洗后的内容,数据量通常会越来越少,可以根据查询性能、写入导出频率选择不同的存储方案。

数据层 存储方案 存储格式 应用场景
ODS(原始数据层) Hadoop HDFS Parquet 存储原始订单、用户行为数据
DW(数据仓库层) Amazon Redshift 列式存储 存储清洗后的订单、用户数据
DM(数据集市层) MySQL 行式存储 存储销售部门的销售分析数据
归档层 Amazon S3 Glacier - 存储历史订单数据(5年以上)

查询分析

数据处理:使用 Spark SQL 进行数据清洗、转换和分析。

结果存储:将分析结果写回 MySQL 或其他数据库,供业务系统使用。

其中SQL执行过程,还涉及到资源调度、批处理等核心提效手段,具体的资源调度策略与批处理方式需要结合hadoop食用。

维度 批处理 资源调度
核心目标 高效执行批量任务 动态分配和管理计算资源
技术实现 Hadoop、Spark、Flink YARN、Kubernetes、Mesos
优化方向 数据本地性、任务拆分、弹性伸缩 公平调度、抢占式调度、资源预留
相关推荐
zskj_zhyl4 小时前
智慧养老丨从依赖式养老到自主式养老:如何重构晚年生活新范式
大数据·人工智能·物联网
哲科软件5 小时前
从“电话催维修“到“手机看进度“——售后服务系统开发如何重构客户体验
大数据·智能手机·重构
zzywxc7875 小时前
AI 正在深度重构软件开发的底层逻辑和全生命周期,从技术演进、流程重构和未来趋势三个维度进行系统性分析
java·大数据·开发语言·人工智能·spring
专注API从业者5 小时前
构建淘宝评论监控系统:API 接口开发与实时数据采集教程
大数据·前端·数据库·oracle
一瓣橙子6 小时前
缺少关键的 MapReduce 框架文件
大数据·mapreduce
永洪科技13 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
weixin_3077791314 小时前
Hive集群之间迁移的Linux Shell脚本
大数据·linux·hive·bash·迁移学习
上海锝秉工控16 小时前
防爆拉线位移传感器:工业安全的“隐形守护者”
大数据·人工智能·安全
cv高级工程师YKY17 小时前
SRE - - PV、UV、VV、IP详解及区别
大数据·服务器·uv
bxlj_jcj18 小时前
深入Flink核心概念:解锁大数据流处理的奥秘
大数据·flink