hive

十月南城9 天前
大数据·数据库·数据仓库·hive·hadoop·spark
数据湖技术对比——Iceberg、Hudi、Delta的表格格式与维护策略写在前面,本人目前处于求职中,如有合适内推岗位,请加:lpshiyue 感谢。数据湖表格式不是简单的存储规范,而是元数据管理、事务控制与性能优化的综合体现,决定了数据平台的开放性与成熟度
王九思9 天前
数据仓库·hive·hadoop
Hive Thrift Server 介绍Hive Thrift Server 是 Apache Hive 提供的一个基于 Thrift 协议的服务端组件(HiveServer2),允许客户端通过 Thrift API 远程访问 Hive 的数据和元数据。它支持多种编程语言(如 Java、Python、C++等),便于外部应用与 Hive 交互,常用于数据查询、ETL 操作等场景。
Asher05099 天前
数据仓库·hive·hadoop
Hive核心知识:从基础到实战全解析Hive是基于Hadoop的数据仓库工具,本质是将SQL转化为MapReduce(或Tez、Spark)任务来执行,核心用于处理大规模结构化/半结构化数据的存储与分析,不适合实时计算(延迟较高)。
xhaoDream9 天前
大数据·hive·tez
Hive3.1.3 配置 Tez 引擎基础环境版本:hadoop 3.3.4 + hive3.1.3 + tez0.9.2 使用的jdk环境需为1.8(hadoop、yarn、hive都需要1.8),需要启动HDFS、YARN.
一号IT男12 天前
数据仓库·hive·hadoop
Hive中GROUPING SETS功能详解我们来详细讲解一下 Hive 中的 GROUPING SETS 功能。这是一个非常强大且实用的特性,用于实现高级的多维数据分析。
500佰12 天前
大数据·linux·数据仓库·hive·hadoop·云计算·运维开发
Hive常见故障多案例FAQ宝典 --项目总结(宝典一)🥇个人主页:500佰#Hive常见故障 #大数据 #生产环境真实案例 #Hive #离线数据库 #整理 #经验总结
好学且牛逼的马15 天前
hive·spring boot·云原生
从“配置地狱“到“云原生时代“:Spring Boot 1.x到4.x演进全记录与核心知识点详解Spring Boot自2014年诞生以来,已经走过了四个大版本的演进历程。从最初解决Spring配置繁琐问题的"破局者",到如今支撑云原生应用开发的"基石",Spring Boot的每一次迭代都深刻影响着Java后端开发的实践方式。
Timer_Cooker17 天前
数据仓库·hive·hadoop
Hive Sum(null)编译报错分析业务需求需要使用hive统计积分point字段,不假思索写上了sum(point)的字段映射,造数null,空格串,空串,数字字符串,含有字母的数字串,结果符合预期。如图:
AI_567820 天前
人工智能·hive·ai
Hive SQL优化:分区表+分桶表提升查询效率Hive中分区表和分桶表通过“目录划分”和“数据哈希分布”优化查询,结合使用可实现双重数据剪枝。分区表将数据按分区字段存储在HDFS不同目录(如按日期分区/day=20231001),查询时通过WHERE子句指定分区,避免全表扫描。
旺仔Sec23 天前
hive·hadoop·mysql
手把手教你从零搭建 Hive 2.3.6 + MySQL 元数据存储(含视频教程)Apache Hive 是一个基于 Hadoop 的数据仓库工具,最初由 Facebook 开发,后捐赠给 Apache 基金会。它允许用户使用类似 SQL 的查询语言(称为 HiveQL 或 HQL)来读取、写入和管理存储在 Hadoop 分布式文件系统(HDFS)中的大规模结构化数据集。
人道领域24 天前
数据仓库·hive·hadoop
SSM框架从入门到入土(SpringMVC入门开发全流程解析)目录入门案例步骤:注解解释:SpringMVC入门程序开发总结(1+N)注意:SpringMVC专用设置请求路径(固定格式)
Mr泓24 天前
大数据·数据仓库·hive
数据仓库建设-(数仓分层篇)摘要:数据仓库分层是数据体系建设的基石,也是大数据领域最重要的设计理念之一。分层的核心思想在于通过解耦复杂的数据处理流程,将复杂问题简单化,让每一层只处理单一的步骤,本文将基于阿里巴巴的常用分层体系来分享各层次在数仓中的作用以及一些基础规范。
火龙谷24 天前
数据仓库·hive·hadoop
【hadoop】Hive数据仓库安装部署换源:最下面附加部分 1、在master上直接使用yum命令在线安装MySQL数据库:途中会询问是否继续,输入Y并按回车。
lhxsir24 天前
数据仓库·hive·hadoop
HIVE表结构和注释#获取hive表字段和注释通过登录hive元数据库(mysql),查询SQL:SELECT t.TBL_NAME AS table_name, p.PARAM_VALUE AS table_comment, c.COLUMN_NAME AS column_name, c.TYPE_NAME AS data_type, c.COMMENT AS column_comment FROM TBLS t JOIN TABLE_PARAMS p ON t.TBL_ID = p.TBL_ID AND p.PARAM_
熹乐互动25 天前
hive
亲测有效的酒吧互动点歌系统案例分享在酒吧,音乐是点燃气氛的关键。然而,传统的点歌方式往往效率低下,容易导致顾客等待时间过长,影响整体体验。熹乐互动软件的智能点歌系统正是解决这一痛点的高效工具。通过智能化的点歌流程和丰富的互动功能,让酒吧现场气氛更加热烈,提升顾客满意度。
我要用代码向我喜欢的女孩表白25 天前
数据仓库·hive·hadoop
hive高阶,了解hive相关问题,面试1.hive常见问题,数据倾斜是什么? 数据倾斜指的是,数据分布不均匀,有两种情况Map不均匀和Reduce不均匀。如何发现的?打开hive-ui,可以发现某一个Map任务耗时远超其他的Map任务,此时没有特别好的手段,若是hiveSql,可以group by 这个key,看一下是哪个,对他进行业务上的拆分。Reduce的发现是卡在99%,其他的reduce都完成了,看一下Task处理数量,可以开启group by聚合,map端预聚合是默认开启的,看一下reduce日志,oom,还是节点挂了,观察他的sq
longxibo25 天前
linux·hive·ubuntu
【Ubuntu datasophon1.2.1 二开之五:解决HIVE安装问题】安装完YARN之后,继续往下安装HIVE。这个组件问题不少,下面逐一说明解决办法:我看原来的service_ddl.json,缺失HA参数,增加了几个如下截图:
Gain_chance25 天前
数据仓库·hive·笔记·学习·datagrip
34-学习笔记尚硅谷数仓搭建-DWS层最近一日汇总表建表语句汇总目录一、交易域用户商品粒度订单最近1日汇总表二、交易域用户粒度订单最近1日汇总表三、交易域用户粒度加购最近1日汇总表
Gain_chance1 个月前
数据库·数据仓库·hive·笔记·学习
35-学习笔记尚硅谷数仓搭建-DWS层最近n日汇总表及历史至今汇总表建表语句目录一、交易域用户商品粒度订单最近n日汇总表二、交易域省份粒度订单最近n日汇总表三、交易域用户粒度订单历史至今汇总表