技术栈
hive
roman_日积跬步-终至千里
3 小时前
数据仓库
·
hive
·
hadoop
Hive JDBC vs MySQL JDBC:**“服务端推完就跑,客户端慢慢吃”**详解
一句话理解:MySQL服务端执行完查询后,会一次性把所有结果通过TCP流式推送给客户端,然后立刻解放资源(推完就跑);客户端收到后本地慢慢消费(慢慢吃),服务端完全不管客户端处理快慢。这就是传输解耦。
m0_71625500
1 天前
hive
·
hadoop
·
分布式
第二部分 电商离线数仓 全套项目代码(可直接在你伪分布式 Hive 运行)
sqlsqlsqlsqlsqlsql|注释版sqlsqlsqlsqlsqlsqlsqlsqlsql
隐于花海,等待花开
4 天前
大数据
·
hive
41.ABS / POW / SQRT 函数深度解析
ABS、POW 和 SQRT 是 Hive SQL 中最基础的三个数学运算函数。它们分别提供绝对值计算、幂运算和平方根计算,是数据处理、统计分析、特征工程等场景中不可或缺的工具。
隐于花海,等待花开
5 天前
hive
·
hadoop
40.RAND 函数深度解析
RAND 是 Hive SQL 中最常用的随机数生成函数。它在数据抽样、随机排序、数据混淆、测试数据生成等场景中扮演着不可或缺的角色。理解其伪随机数生成机制、确定性序列特性以及在不同抽样方式下的性能差异,是高效使用该函数的关键。
孤雪心殇
6 天前
数据仓库
·
hive
·
spark
快速上手数仓基础知识
传统数据库(OLTP)处理海量数据时耗时过长,当数据量到达TB甚至PB级的时候,MySQL的表现就极差,即使加上索引和分库分表也难以解决这个问题,因为MySQL的B+数本来就针对单点查询,不擅长做全表扫描
隐于花海,等待花开
6 天前
hive
·
hadoop
39.ROUND / FLOOR / CEIL 函数深度解析
ROUND、FLOOR 和 CEIL 是 Hive SQL 中最基础的三个数值舍入函数,分别对应四舍五入、向下取整和向上取整。它们在数据处理、数值计算和报表生成中扮演着不可或缺的角色。
看海的四叔
7 天前
大数据
·
数据库
·
hive
·
sql
·
数据分析
·
字符串
【SQL】SQL-管好你的字符串
今天写 Hive 里字符串函数的故事。 数据岗相关的同学,最头疼的一定是数据清洗模块。清洗不到位,计算、分析时会出现各种问题,其中以字符串清洗尤甚:字段涉及拼接、截取、空位处理、JSON解析、URL拆解等……稍不留神,脏数据就悄悄溜进去了。
曹牧
9 天前
java
·
数据仓库
·
hive
·
hadoop
Java Web 开发:servlet-mapping
在 Java Web 开发中,servlet-mapping 是用于将特定的 URL 路径映射到对应的 Servlet 类的关键配置元素。它定义了客户端请求的 URL 与服务器端处理该请求的 Servlet 之间的对应关系。 核心作用
隐于花海,等待花开
12 天前
大数据
·
hive
18.TRUNC / LAST_DAY / NEXT_DAY 函数深度解析
TRUNC、LAST_DAY 和 NEXT_DAY 是 Hive SQL 中三个专门用于日期截断与周期计算的函数。它们共同构成了日期维度分析的重要工具链,在 BI 报表、时间窗口聚合和数据清洗等场景中应用广泛。
隐于花海,等待花开
12 天前
大数据
·
hive
17.DATE_FORMAT 函数深度解析
DATE_FORMAT 是 Hive SQL 中唯一的日期格式化函数,用于将日期、时间戳或符合特定格式的字符串按照指定的格式模板(Pattern)转换成目标格式的字符串。它灵活且强大,是数据仓库工程师在生成报表、构建分区字段和清洗日期数据时不可或缺的工具。
隐于花海,等待花开
12 天前
大数据
·
hive
15.TO_DATE 函数深度解析
TO_DATE 是 Hive SQL 中用于从日期时间字符串或时间戳中提取日期部分的核心函数。它将输入的字符串或时间戳转换为 DATE 类型,丢弃时间部分,只保留年、月、日。
YJlio
13 天前
运维
·
hive
·
hadoop
·
windows
·
游戏
·
microsoft
·
计算机外设
1 4.1 微软商店的使用(Microsoft Store:下载/安装/管理应用与游戏)
当我需要装一些常见软件(比如聊天工具、效率工具、轻量小游戏)时,我现在越来越倾向于先去 Microsoft Store(微软商店) 看看。书里提到:在 Windows 11 中,我可以通过微软商店来 下载安装以及管理软件,包括各种应用软件和游戏;这些软件和游戏都经过微软审核,安全性更值得信任,而且新的微软商店也已经推广到 Windows 10。
看海的四叔
13 天前
数据库
·
hive
·
sql
·
数据分析
·
时间函数
·
日期函数
【SQL】SQL的日期与时间函数
今天来聊聊 Hive 里日期和时间函数的应用场景。做数据分析的同学都知道,日期处理绝对是个"高频刚需"——无论是统计报表、用户行为分析,还是考勤打卡、业务指标计算,到处都要跟日期打交道。 Hive 提供了超级丰富的日期函数,用好了能省很多事儿。
看海的四叔
13 天前
数据库
·
hive
·
sql
·
mysql
·
数据分析
·
窗口函数
【SQL】SQL-常见窗口函数有哪些-上篇
今天来聊聊 Hive 里窗口函数的应用场景,原来大家对SQL这么感兴趣,阅读比Python高好多.orz
It's Q
14 天前
hive
·
hadoop
·
学习
hive学习分区&&函数
在hdfs上创建文件夹string数据,需要添加单‘’不区分静态分区:先创建,再加载数据 动态分区:直接加载数据,根据数据动态创建分区 混合分区:有静态,还有动态,某个字段指定;
隐于花海,等待花开
14 天前
大数据
·
hive
5.TRIM / LTRIM / RTRIM 函数深度解析
TRIM、LTRIM 和 RTRIM 是 Hive SQL 中用于清除字符串首尾空白字符的核心函数。它们是数据清洗流程中最基础、最常用的工具之一,主要用于解决数据源(如用户输入、系统日志、外部数据导入)中普遍存在的冗余空格问题。
菜鸟小码
15 天前
hive
·
hadoop
·
架构
Hive数据模型、架构、表类型与优化策略
Hive作为大数据生态系统中的重要组成部分,通过其灵活的数据模型为海量数据的存储和查询提供了强大支持。本文将从Hive数据模型的基本架构出发,详细解析内部表、外部表、分区表和分桶表等核心表类型,深入探讨MAP、ARRAY、STRUCT等复杂数据类型的应用场景,剖析星型模型与雪花模型在数据仓库中的实现方式,并提供数据模型优化的最佳实践,帮助读者构建高效、可扩展的大数据处理架构。
IT从业者张某某
15 天前
hive
·
hadoop
·
docker
基于Docker的hadoop容器安装hive并测试
Docker部署伪分布Hadoop 要在现有的 Hadoop 容器中安装 Zookeeper,我们需要执行以下步骤:
菜鸟小码
15 天前
数据仓库
·
hive
·
hadoop
深入理解 Hive 数据模型
在 Hadoop 生态中,Hive 作为数据仓库的核心组件,其数据模型的设计直接影响查询性能、存储效率和维护成本。本文将带你全面掌握 Hive 数据模型的各个层次,从数据库、表、分区到分桶,配合大量实战案例,让你真正掌握数仓建模的精髓。
菜鸟小码
15 天前
数据仓库
·
hive
·
hadoop
Hive环境搭建与配置优化
Hive作为大数据生态系统中不可或缺的组件,为非技术人员提供了使用SQL操作Hadoop数据的能力。本文将详细介绍如何在Linux环境下安装配置Hive 3.1.2,并解决实际部署中常见的依赖冲突和兼容性问题,帮助您快速搭建高效稳定的大数据处理环境。