hive

roman_日积跬步-终至千里3 小时前
数据仓库·hive·hadoop
Hive JDBC vs MySQL JDBC:**“服务端推完就跑,客户端慢慢吃”**详解一句话理解:MySQL服务端执行完查询后,会一次性把所有结果通过TCP流式推送给客户端,然后立刻解放资源(推完就跑);客户端收到后本地慢慢消费(慢慢吃),服务端完全不管客户端处理快慢。这就是传输解耦。
m0_716255001 天前
hive·hadoop·分布式
第二部分 电商离线数仓 全套项目代码(可直接在你伪分布式 Hive 运行)sqlsqlsqlsqlsqlsql|注释版sqlsqlsqlsqlsqlsqlsqlsqlsql
隐于花海,等待花开4 天前
大数据·hive
41.ABS / POW / SQRT 函数深度解析ABS、POW 和 SQRT 是 Hive SQL 中最基础的三个数学运算函数。它们分别提供绝对值计算、幂运算和平方根计算,是数据处理、统计分析、特征工程等场景中不可或缺的工具。
隐于花海,等待花开5 天前
hive·hadoop
40.RAND 函数深度解析RAND 是 Hive SQL 中最常用的随机数生成函数。它在数据抽样、随机排序、数据混淆、测试数据生成等场景中扮演着不可或缺的角色。理解其伪随机数生成机制、确定性序列特性以及在不同抽样方式下的性能差异,是高效使用该函数的关键。
孤雪心殇6 天前
数据仓库·hive·spark
快速上手数仓基础知识传统数据库(OLTP)处理海量数据时耗时过长,当数据量到达TB甚至PB级的时候,MySQL的表现就极差,即使加上索引和分库分表也难以解决这个问题,因为MySQL的B+数本来就针对单点查询,不擅长做全表扫描
隐于花海,等待花开6 天前
hive·hadoop
39.ROUND / FLOOR / CEIL 函数深度解析ROUND、FLOOR 和 CEIL 是 Hive SQL 中最基础的三个数值舍入函数,分别对应四舍五入、向下取整和向上取整。它们在数据处理、数值计算和报表生成中扮演着不可或缺的角色。
看海的四叔7 天前
大数据·数据库·hive·sql·数据分析·字符串
【SQL】SQL-管好你的字符串今天写 Hive 里字符串函数的故事。 数据岗相关的同学,最头疼的一定是数据清洗模块。清洗不到位,计算、分析时会出现各种问题,其中以字符串清洗尤甚:字段涉及拼接、截取、空位处理、JSON解析、URL拆解等……稍不留神,脏数据就悄悄溜进去了。
曹牧9 天前
java·数据仓库·hive·hadoop
Java Web 开发:servlet-mapping‌在 Java Web 开发中,‌servlet-mapping‌ 是用于将特定的 URL 路径映射到对应的 Servlet 类的关键配置元素。它定义了客户端请求的 URL 与服务器端处理该请求的 Servlet 之间的对应关系。 ‌核心作用‌
隐于花海,等待花开12 天前
大数据·hive
18.TRUNC / LAST_DAY / NEXT_DAY 函数深度解析TRUNC、LAST_DAY 和 NEXT_DAY 是 Hive SQL 中三个专门用于日期截断与周期计算的函数。它们共同构成了日期维度分析的重要工具链,在 BI 报表、时间窗口聚合和数据清洗等场景中应用广泛。
隐于花海,等待花开12 天前
大数据·hive
17.DATE_FORMAT 函数深度解析DATE_FORMAT 是 Hive SQL 中唯一的日期格式化函数,用于将日期、时间戳或符合特定格式的字符串按照指定的格式模板(Pattern)转换成目标格式的字符串。它灵活且强大,是数据仓库工程师在生成报表、构建分区字段和清洗日期数据时不可或缺的工具。
隐于花海,等待花开12 天前
大数据·hive
15.TO_DATE 函数深度解析TO_DATE 是 Hive SQL 中用于从日期时间字符串或时间戳中提取日期部分的核心函数。它将输入的字符串或时间戳转换为 DATE 类型,丢弃时间部分,只保留年、月、日。
YJlio13 天前
运维·hive·hadoop·windows·游戏·microsoft·计算机外设
1 4.1 微软商店的使用(Microsoft Store:下载/安装/管理应用与游戏)当我需要装一些常见软件(比如聊天工具、效率工具、轻量小游戏)时,我现在越来越倾向于先去 Microsoft Store(微软商店) 看看。书里提到:在 Windows 11 中,我可以通过微软商店来 下载安装以及管理软件,包括各种应用软件和游戏;这些软件和游戏都经过微软审核,安全性更值得信任,而且新的微软商店也已经推广到 Windows 10。
看海的四叔13 天前
数据库·hive·sql·数据分析·时间函数·日期函数
【SQL】SQL的日期与时间函数今天来聊聊 Hive 里日期和时间函数的应用场景。做数据分析的同学都知道,日期处理绝对是个"高频刚需"——无论是统计报表、用户行为分析,还是考勤打卡、业务指标计算,到处都要跟日期打交道。 Hive 提供了超级丰富的日期函数,用好了能省很多事儿。
看海的四叔13 天前
数据库·hive·sql·mysql·数据分析·窗口函数
【SQL】SQL-常见窗口函数有哪些-上篇今天来聊聊 Hive 里窗口函数的应用场景,原来大家对SQL这么感兴趣,阅读比Python高好多.orz
It's Q14 天前
hive·hadoop·学习
hive学习分区&&函数在hdfs上创建文件夹string数据,需要添加单‘’不区分静态分区:先创建,再加载数据 动态分区:直接加载数据,根据数据动态创建分区 混合分区:有静态,还有动态,某个字段指定;
隐于花海,等待花开14 天前
大数据·hive
5.TRIM / LTRIM / RTRIM 函数深度解析TRIM、LTRIM 和 RTRIM 是 Hive SQL 中用于清除字符串首尾空白字符的核心函数。它们是数据清洗流程中最基础、最常用的工具之一,主要用于解决数据源(如用户输入、系统日志、外部数据导入)中普遍存在的冗余空格问题。
菜鸟小码15 天前
hive·hadoop·架构
Hive数据模型、架构、表类型与优化策略Hive作为大数据生态系统中的重要组成部分,通过其灵活的数据模型为海量数据的存储和查询提供了强大支持。本文将从Hive数据模型的基本架构出发,详细解析内部表、外部表、分区表和分桶表等核心表类型,深入探讨MAP、ARRAY、STRUCT等复杂数据类型的应用场景,剖析星型模型与雪花模型在数据仓库中的实现方式,并提供数据模型优化的最佳实践,帮助读者构建高效、可扩展的大数据处理架构。
IT从业者张某某15 天前
hive·hadoop·docker
基于Docker的hadoop容器安装hive并测试Docker部署伪分布Hadoop 要在现有的 Hadoop 容器中安装 Zookeeper,我们需要执行以下步骤:
菜鸟小码15 天前
数据仓库·hive·hadoop
深入理解 Hive 数据模型在 Hadoop 生态中,Hive 作为数据仓库的核心组件,其数据模型的设计直接影响查询性能、存储效率和维护成本。本文将带你全面掌握 Hive 数据模型的各个层次,从数据库、表、分区到分桶,配合大量实战案例,让你真正掌握数仓建模的精髓。
菜鸟小码15 天前
数据仓库·hive·hadoop
Hive环境搭建与配置优化Hive作为大数据生态系统中不可或缺的组件,为非技术人员提供了使用SQL操作Hadoop数据的能力。本文将详细介绍如何在Linux环境下安装配置Hive 3.1.2,并解决实际部署中常见的依赖冲突和兼容性问题,帮助您快速搭建高效稳定的大数据处理环境。