数据仓库

西木莉2 天前
数据仓库
数据仓库概述数据仓库是一个面向主题、集成、相对稳定、反映历史变化的数据集合,用于支持管理决策。它是过程而非项目,是环境而非产品,提供决策所需的当前和历史数据。 特点 面向主题:按主题域组织数据,不同于面向事务处理的操作型数据库。集成:对分散数据库数据抽取、清理、加工、汇总,消除不一致性,保证全局一致。相对稳定:以查询为主,数据长期保留,修改删除很少,定期加载刷新。反映历史变化:包含历史信息,可定量分析和预测趋势。 组成 数据仓库数据库:核心,存放数据并支持海量数据快速检索。数据抽取工具:从各种存储方式取出数据,转化整
Francek Chen3 天前
大数据·数据仓库·hive·hadoop·分布式
【大数据处理与分析】数据仓库Hive:04 数据仓库Hive概述【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
Moshow郑锴3 天前
数据仓库·data·湖仓一体
从“水库”到“直饮水站”:重新理解 Data Mart 与 Data Lake、Data Lakehouse、Data Warehouse 的区别如果把数据体系比作一套“城市供水系统”,这四个概念会立刻清晰很多:下面用这个比喻,重新梳理它们之间的关系,尤其是 Data Mart 与 Data Lake、Data Lakehouse 的区别。
躺柒4 天前
数据仓库·架构·数据分析·spark·数据湖·关系数据库·企业数据仓库
读数据架构知识体系指南01关系数据仓库(上)1.1. 关系数据仓库(RDW)是一个集中存储和管理来自多个数据源的大量结构化数据的地方,用于生成历史和趋势分析报表,为公司的商业决策提供帮助
tianhuo0036 天前
数据仓库·数据中台·零售行业供应链数字化
从MySQL到Apache Doris:生鲜供应链数仓的ETL流水线与SARIMA需求预测全实《生鲜连锁供应链数字化》系列第15篇Apache Doris 数据仓库 ETL SARIMA Spring Boot 生鲜供应链
SendTomo6 天前
大数据·数据结构·数据库·数据仓库·个人开发
.ico透明图标在线生成下载平台深度解析#ico5.net 网站分析与品牌价值挖掘ico5.net 是一个专注于提供 .ico 格式图标下载服务 的网站,其主要功能包括:
qingwufeiyang_5307 天前
数据仓库·数据湖
IceBerg学习笔记2三范式目的:数据唯一+减少数据冗余事实表:包含维度+指标 (是一个高表、宽表)如何构建数仓?分层构建数仓-不同的层采用不同的构建方式
学代码的CJY9 天前
数据仓库·知识图谱
CJY 知识工作台:博客写作使用指南CJY 知识工作台:博客写作使用指南 这是我在Github上的第一个项目,我决定给其中一个功能——博客创作出一篇单独的教程,希望能够对使用这个项目的人提供帮助。
喻师傅9 天前
大数据·数据仓库·big data
Apache Hudi 概述:从 Parquet 更新难题到数据湖 Upsert在数据仓库和数据湖场景中,Parquet 应该是大家非常熟悉的一种文件格式。列式存储、压缩率高、对分析类查询友好,这些特点让它非常适合承载海量明细数据。因此在实际的大数据系统中,我们经常会把数据以 Parquet 的形式存放在 HDFS、S3、OSS 等存储系统上。
宽海智能仓储物流11 天前
运维·数据仓库·自动化
航发自动化立体库异构系统改造:宽海智能30天联调技术全解析作者:宽海智能——存量立库全科医生WMS|WCS|数字孪生|PLC升级改造|技术盘活|新增需求|维护保养
程序员小羊!13 天前
数据仓库
医疗数据仓库ODS层敏感信息防护实战:7大关键策略✨博客主页: https://blog.csdn.net/m0_63815035?type=blog💗《博客内容》:大数据、AI开发、Java、测试开发、Python、Android、Go、Node、Android前端小程序等相关领域知识 📢博客专栏: https://blog.csdn.net/m0_63815035/category_11954877.html 📢欢迎点赞 👍 收藏 ⭐留言 📝 📢本文为学习笔记资料,如有侵权,请联系我删除,疏漏之处还请指正🙉 📢大厦之成,非一木之材也;
欢迎来到祖安!13 天前
java·前端·数据仓库·spring cloud·企业微信
企业微信 API 接口能力介绍:支持消息收发、图片发送、表情互动、联系人管理等多场景应用随着企业微信在客户运营、私域营销、在线客服等场景中的广泛应用,越来越多企业开始需要通过 API 接口实现企业微信自动化管理。
RestCloud14 天前
数据仓库·飞书·etl·数据传输·api对接·豆包
飞书多维表格落地新思路:ETL做数据导入,豆包做业务智能分析近期豆包工作与飞书完成深度能力打通,不少企业已经开始尝试直接用AI操作飞书多维表格,做数据查询、内容整理。不过这套能力更多服务于飞书内部场景,企业实际业务里,大量业务数据分散在ERP、CRM以及各类第三方业务系统当中,想要把外部业务数据稳定落到多维表格,单纯依靠AI能力并不够用,还是要通过开放API完成跨系统对接。
AgentMaster15 天前
大数据·数据库·数据仓库·人工智能·原型模式
元数据、血缘、质量、安全四大模块能力拆解,数据治理方案对比:4 种技术路线深度评测数据治理是一个涵盖范围广泛的概念,但在实际落地中,企业的核心需求通常可以拆解为四个能力模块:元数据管理、数据血缘解析、数据质量监控、数据安全管控。这四个模块相互依赖又各有侧重,构成了数据治理体系的基本骨架。
Gl�ria15 天前
数据仓库·hive·hadoop
Hadoop Hive 和 YARN 的关系一句话总结:Hive 是数仓 SQL 工具,本身不做计算;YARN 是 Hadoop 的资源调度管理器,给 Hive 的计算任务分配服务器资源,运行 MapReduce/Tez/Spark 计算程序;
MC丶科16 天前
数据库·数据仓库·redis·缓存·oracle·容器·规格说明书
软考架构师90天冲刺|DAY44·Redis高级应用Redis不仅仅是简单的键值缓存,它提供了丰富的数据结构来满足不同的业务场景。表1:Redis数据结构详解
lhldsg18 天前
数据库·数据仓库·需求分析
幼儿托管系统开发实战指南:从需求分析到架构设计全流程解析幼儿托管系统并非简单的“接送打卡”工具,而是一套涉及家长端、园所/托管机构端、管理后台以及IoT设备联动的多角色业务平台。无论是新建一套系统,还是为已有项目做模块扩展,都需要明确“谁在用、管什么、怎么支付、如何通知”。在本篇文章中,我将直接梳理幼儿托管系统从需求调研到架构落地的全流程,重点说明角色权限、订单计费、消息触达、监护安全等核心设计要点,并给出可落地的技术选型建议。
fastjson_19 天前
数据仓库·hive·hadoop
Hive 自定义函数hive的内置函数满足不了所有的业务需求。hive提供很多的模块可以自定义功能,比如:自定义函数、serde、输入输出格式等。而自定义函数可以分为以下三类: UDF: user defined function:用户自定义函数,一对一的输入输出 (最常用的)。比如abs() UDAF: user defined aggregation function:用户自定义聚合函数,多对一的输入输出,比如:count sum max。 UDTF: user defined table-generate functi
lhldsg20 天前
数据库·数据仓库·需求分析
智慧场馆解决方案软件开发实战:从需求分析到落地部署全流程在体育产业数字化与服务消费升级的双重驱动下,智慧场馆解决方案软件开发已从单一的预订工具演变为集赛事运营、会员管理、智能硬件联动、数据分析于一体的复杂业务系统。无论是台球厅、棋牌室、羽毛球馆还是综合性体育中心,其核心诉求都指向同一方向——通过软件系统降低人力成本、提升场地坪效、优化用户体验。本文将从需求分析、技术架构选型、核心模块设计到部署上线,完整拆解一套可落地、可二次开发的智慧场馆解决方案软件开发流程。
迈巴赫车主20 天前
大数据·数据仓库·doris
Doris简介Apache Doris由百度大数据部研发(之前叫百度 Palo,2018年贡献到 Apache 社区后,更名为 Doris ),在百度内部,有超过200个产品线在使用,部署机器超过1000台,单一业务最大可达到上百TB。