数据仓库

Francek Chen4 天前
大数据·数据仓库·hive·hadoop·sql
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
全栈陈序员7 天前
数据仓库·git
【Git】从入门到精通(二)—— Git安装与初次配置作者:全栈陈序员 系列:《Git版本控制从入门到精通》 适用人群:零基础到入门进阶 阅读时间:约 18 分钟
程序员梅雨7 天前
java·大数据·数据仓库·后端·学习·flume
【从零开始学习数据仓库 | 第三篇】: Flume——数据采集基石今天学习Flume,在构建离线数仓的旅程中,数据采集是第一道关卡。无论是业务服务器上滚动的日志文件,还是散落在各个机器上的系统指标,我们都需要一个可靠的工具把它们搬运到大数据集群(如 HDFS)中。
注塑机数据采集联网9 天前
大数据·数据仓库·人工智能·物联网·数据库架构·注塑机网关
数据采集网关入门:ZK-D1/D3从零开始构建你的数据运用在当今数据驱动的时代,数据采集是数据分析、机器学习和业务决策的基石。无论是研究用户行为、监控系统性能,还是训练人工智能模型,都离不开高质量的数据。本文将带你从零开始,系统性地了解数据采集的完整流程、常用方法、工具选型以及实践中的注意事项。
roman_日积跬步-终至千里9 天前
数据仓库·人工智能·机器学习·数据分析·数据建模
【数据建模入门】从一家小店看懂数仓与机器学习:先理业务,再串技术学习数据建模时,很容易先遇到一串术语:事实表、维度表、RFM、特征、标签、训练集。知道定义之后,仍然不清楚它们为什么存在,更不知道怎样连接起来。
程序员梅雨10 天前
大数据·数据仓库·学习
【从零开始学习数据仓库 | 第二篇】: 拉链表 & 数仓分层拉链表就是一张记录数据历史变化状态的表。它不保存每天的全量快照,而是用两个时间字段(通常叫 start_date 和 end_date)来标记每一条记录的生命周期:某条数据从哪天开始生效,到哪天失效。
roman_日积跬步-终至千里10 天前
数据库·数据仓库·sql·数据建模
数仓开发的三层责任:业务定义、模型设计与 SQL 实现同一笔订单,为什么几张报表会给出不同的“销售额”?遇到这种情况,直接查 SQL 往往只能解决一部分问题。
geovindu11 天前
大数据·数据库·数据仓库·sql·postgresql·数据库开发·数据库架构
SQL Data Sampling and Approximation Techniques using postgreSQL 18
程序员梅雨12 天前
大数据·数据仓库·学习·阿里云·数据分析
【从零开始学习数据仓库 | 第一篇】:维度建模理论写在前面:这是我学习数仓系列记录的第一篇,我会把每天学习时对工作重要的,难理解的东西记录下,我试着把 Kimball 维度建模的核心概念串成一条线——从“为什么数仓必须独立存在”讲起,再落到维度表、事实表、代理键、可加性这些基础零件上。文中会穿插一些我自己的理解方式,不一定严谨。
棣廷12 天前
数据仓库
初识数据仓库——数仓分层到DataX数据采集在之前的博客中,我们学习了Hadoop的底层组件(HDFS、MapReduce、YARN)以及Hive数据仓库工具。我们知道了如何用Hive建表、加载数据、写SQL进行统计分析。
棣廷12 天前
数据仓库·hive·hadoop
初识Hive(2)在上一篇博客中,我们学习了Hive的基础架构、安装搭建以及基础的DDL(数据定义)和DML(数据操作)。我们知道了如何建表、如何加载数据、如何写简单的SQL。
geovindu13 天前
大数据·数据库·数据仓库·sql·postgresql·数据库开发·数据库架构
Pivoting and Unpivoting Data in SQL using postgreSQL 18
数据库小学妹13 天前
数据仓库·mpp·列式存储·联机分析处理·数据库选型·olap数据库
OLAP数据库怎么选?看清OLTP、数仓、湖仓边界去年一家制造企业上了一套 OLAP 数据库。300 张报表原样迁过去,上线第一个月,六成报表变慢。最慢的一张,从 2 分钟变成 18 分钟。老板问我:是不是买错了?
程序 代码狂人13 天前
java·大数据·开发语言·数据仓库·算法
切片表与分区表的区别(数据开发面试版)摘要:本文围绕数仓与监管报送开发中常被混用的“分区表”和“切片表”展开辨析,指出分区表是物理存储层面的技术手段,切片表是业务逻辑层面的数据形态,二者是手段与目的的关系。文章分别说明分区表的建表标识、查询裁剪与生命周期管理优势,以及切片表在 EAST、FBDS、IMAS 等报送场景下的时间切片含义与两种实现方式,并结合 INFC、SUB 报送层的实际用法解释口语混用的原因。最后通过“是分区表但不是切片表”“是切片表但不是分区表”两类反例,串联分区、切片、快照、拉链表、增量表等配套概念,并给出面试口述的一句话
天河归来13 天前
数据库·数据仓库·架构
从原始消息到业务数据:三层数据架构的设计与实践一条上游消息进入系统后,往往不能直接成为页面查询或报表统计的数据。消息可能包含嵌套数组,同一业务对象可能多次更新,不同来源也可能使用不同的字段和时间格式。如果把报文解析、版本判断和业务查询全部放在一个环节中,后续定位问题、调整规则和修复历史数据都会变得困难。
注塑机数据采集联网15 天前
大数据·数据仓库·人工智能·物联网·制造·数据库架构
中科晟达注塑机 MES 系统:从车间到数字化的智能制造实践注塑成型是制造业中应用最广泛的工艺之一,从汽车零部件、家电外壳到医疗器械、精密电子,几乎无处不在。然而,传统注塑车间长期面临设备状态不透明、生产计划靠经验、质量追溯困难、模具与工艺参数管理粗放等痛点。随着智能制造与工业互联网的推进,越来越多的注塑企业开始引入 MES(制造执行系统),打通从订单下达到成品入库的全流程数据链路。
泡海椒15 天前
数据库·数据仓库·sql
JQuick-SQL 逻辑数据仓库:以注册数据集构建轻量分析层Meta 描述:介绍如何用 jquick-sql 将标准化 JQuickDataSet 注册为主题表,在 Java 应用内构建面向报表和对账的轻量逻辑数据仓库。
geovindu15 天前
大数据·数据仓库·sql·postgresql·数据库开发·数据库架构·1024程序员节
sql:SQL Pagination and Limiting Results using PorstgreSQL 18.0