hive

泡干脆面就番茄1 天前
大数据·数据仓库·hive·hadoop
Hive分区表与分桶表:大数据查询提速的第一把钥匙这是《Hive 从入门到实战》系列第 4 篇。本篇是面试 + 实战双料重点:分区表、分桶表,以及面试必考的"分区 vs 分桶"。
泡干脆面就番茄2 天前
大数据·数据仓库·hive·hadoop
Hive-DML:Load-Insert-Export-Import四种数据进出方式Hive数据进出有四种方式:LOAD DATA(本地复制、HDFS剪切)用于批量加载文件;INSERT SELECT实现表间结果集迁移,支持追加或覆盖;INSERT VALUES可手动插入单行,但生产慎用;INSERT DIRECTORY将查询结果导出至本地或HDFS文件系统;EXPORT/IMPORT则支持整表连同元数据的跨集群迁移。其中,LOAD最高效,INSERT适用于加工逻辑,EXPORT/IMPORT适合表级迁移。核心原则:能用LOAD就不用INSERT,数据操作以文件和批量为主。
棣廷3 天前
数据仓库·hive·hadoop
初识Hive(1)在上一篇博客中,我们学习了Hadoop的三大核心组件:HDFS、MapReduce和YARN。HDFS解决了数据存不下的问题,MapReduce解决了数据算不动的问题。
Francek Chen3 天前
大数据·数据仓库·hive·hadoop·数据分析
【大数据处理与分析】数据仓库Hive:07 Hive HA基本原理【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
磁场转动100万匹3 天前
数据仓库·hive·hadoop
数仓分层到底在分什么:从 DWD 到 ADS,最后落到 ClickHouse上一篇我们解决了「数据怎么进来」——用 DataX 把业务库的刷卡主数据和用户信息表搬到了 Hive 的 ODS 层。
泡干脆面就番茄5 天前
大数据·数据仓库·hive·hadoop·架构
Hive入门:架构解析与安装部署实录本文介绍Hive作为基于Hadoop的数据仓库工具,通过类SQL(HQL)实现对HDFS结构化数据的分析。文章解析其架构:用户接口、元数据存储(Metastore)、驱动器(四步执行流程),并以“点菜-后厨”类比阐明其核心价值——降低大数据分析门槛。详细演示了在CentOS 7环境下部署Hive 3.1.3的六步流程,包括环境准备、配置文件设置、元数据库初始化及服务启动,并强调元数据存于MySQL、真实数据在HDFS的分离特性。最后通过建表查数验证功能,为后续实战打下基础。
yyk333245 天前
hive·hadoop·架构
Hive架构Apache Hive是一款构建于Hadoop之上的开源数据仓库软件。它提供类似 SQL 的查询语言(HQL),能够将 SQL 语句自动转化为底层的分布式计算任务(如 MapReduce),从而让用户能够轻松地对存储在HDFS上的海量数据进行分析和处理。
古法老登瞎折腾6 天前
数据仓库·hive·hadoop
Hive 源码导读(三):都是 SELECT,为什么有的查询不需要 YARN?上一篇,订单查询已经从 Beeline 到达了 Driver。我们先查了十条订单,结果很快返回;接着想知道当天已支付的订单一共多少钱,写了一条聚合 SQL。这次,日志里出现了 MR Job。
troy1286 天前
java·前端·hive
Java Web 常见面试题(2026 最新整理)Java Web 是后端开发面试中的核心考察方向,覆盖 Servlet、JSP、Spring、Spring MVC、MyBatis、数据库、分布式、缓存、消息队列等众多知识点。本文整理了 Java Web 面试中最常见的高频题目,并给出简洁清晰的参考答案,帮助你在面试前快速回顾核心要点。
高级程序源6 天前
vue.js·hive·spring boot·mysql·数据分析·django·课程设计
hive电商平台商品销售数据分析与趋势预测45659-计算机课程设计、毕业设计✨ 博主介绍:一线全栈工程师,毕设实战引路人。技术栈覆盖Java、Python、C#、PHP、Node.js及UniApp跨端开发,擅长多语言项目落地与架构设计。持续分享毕设源码、开题报告、技术选型心得与职场踩坑经验。用工程化思维写代码,帮你把毕设做成作品集。👍👍
陈年老古董7 天前
hive·笔记·学习
Hive 函数学习笔记(下):窗口函数与经典案例本文继续整理 Hive 函数的下半部分内容,涵盖窗口函数、行列转换、连续登录等经典问题。 上半部分已整理单行函数与炸裂函数,可配合阅读。
爱吃火鸡面呀7 天前
hive·hadoop·hdfs
DataX 实战:使用 HDFS Reader 读取 Hive ORC 表并输出到 StreamDataX 是阿里开源的数据同步工具,支持多种数据源之间的高效传输。在实际业务中,我们经常需要把 Hive 表中的数据同步到其他存储系统。本文以一个完整的 DataX 任务脚本为例,演示如何使用 HDFS Reader 读取 Hive 的 ORC 格式表,并通过 Stream Writer 将数据打印到控制台,帮助读者快速理解 DataX 的配置结构和字段映射方式。
yumgpkpm7 天前
大数据·hive·hadoop·postgresql·zookeeper·spark·hbase
CDP 7.3.1(Cloudera Runtime 7.3.1)VS Acceldata ODP 3.3.6.4 核心引擎详细版本对比CDP Private Cloud Base 7.3.1(Cloudera Runtime 7.3.1)VS Acceldata ODP 3.3.6.4 核心引擎详细版本对比
yumgpkpm8 天前
大数据·人工智能·hive·hadoop·kafka·hbase·cloudera
Acceldata ODP(Open Data Platform)3.3.6.4(RHEL9)保姆级完整安装手册Acceldata ODP(Open Data Platform)3.3.6.4(RHEL9)保姆级完整安装手册
陈年老古董8 天前
hive·笔记·学习
Hive 函数学习笔记(上):单行函数与炸裂函数本文基于 Hive 官方 UDF 文档整理,涵盖 Hive 内置函数分类、单行函数以及炸裂函数(UDTF)的常用语法与案例。 官方文档:Apache Hive : LanguageManual UDF
陈年老古董8 天前
hive·笔记·学习
Hive 分区表学习笔记:语法、操作、二级分区与动态分区本文基于 Hive 分区表相关内容整理,涵盖分区表语法、分区操作、二级分区表以及动态分区等常用知识点。
53488736abcdefg9 天前
hive·hadoop·架构
Hive 入门&架构原理按「定义→架构→流程→核心概念→生产配置」梳理。
磁场转动100万匹9 天前
hive·hadoop·学习
Hive 学习第一天:搞懂它是什么,并搭好可用的环境Hive 学习第一天:搞懂它是什么,并搭好可用的环境学习环境:CentOS 7 + JDK 8 + Hadoop 3.x + Hive 3.x + MySQL 5.7 前置条件:Hadoop 伪分布式集群已能正常启动(参考 Hadoop 两天笔记)。 学习目标:理解 Hive 的本质和架构,知道它和 MySQL 这类传统数据库的区别;完成生产常用的 MySQL 元数据部署,并用 Beeline 跑通第一个查询。
磁场转动100万匹9 天前
hive·hadoop·学习
Hive 学习第三天:HQL 查询精讲与内置函数实战学习环境:Hive 3.x(Beeline + HiveServer2) 学习目标:掌握 Hive 查询的完整写法与执行顺序;能熟练使用字符串、日期、聚合、条件类函数;彻底搞懂行列转换与窗口函数(重点、难点、面试高频);了解自定义函数 UDF 的开发思路。
陈年老古董9 天前
hive·笔记·学习·mysql
Hive DML 语言学习笔记:数据加载、插入、导出与导入本文基于 Hive 官方 DML 文档整理,涵盖数据加载、插入、写入文件系统以及导入导出等常用操作。 官方文档:Apache Hive : LanguageManual DML