Hive基础简介

Hive基础简介

一、为啥有Hive

MySQL:

处理不了大数据 & SQL语句简单--->

Hadoop:

HDFS【存储 & 需要Java能力和MR能力】+ MapReduce(MR)【处理数据 & 需要Java能力和MR能力】--->

HiveSQL:

分析处理大数据 & 语句简单

二、Hive基础考点概念

1、Hive是一个用于分析结构化数据和半结构化数据

数据仓库系统。它建立在Hadoop之上。

2、它是一个类似SQL的查询工具,用于查询存储在HDFS和其他与Hadoop集成的文件系统中的数据。

3、Hive提供读取、写入和管理驻留在分布式存储中的大型数据集的功能。

4、它运行名为HQL(Hive查询语言)的类似SQL的查询,该HQL在内部默认自动转换为MapReduce , 可以更改为其他工具,例如Tez或Spark。

5、它是离线批处理

6、无需学习Java和Hadoop。

7、可扩展性、快、灵活

8、支持从序列化文件、文本文件、avro文件、orc文件、rc文件、Hbase表读取数据分析

9、Hive的元数据存在RDBMS里(例如MySQL),所以安装Hive之前要先安装RDBMS

10、Hive支持压缩功能

11、Hive支持Join联查功能

12、Hive支持索引来精准查询

13、Hive支持用户自定义函数可以自己写Java代码编写

三、Hive 适用、不适用情况
非适用 适用
关系型数据库 非关系型数据库
用于交易、事务处理 用于大批量分析
实时更新查询 离线批处理
低延迟、低吞吐量 高延迟、高吞吐量
四、Hive架构
相关推荐
奇点爆破XC11 小时前
Hadoop大数据生态(Ambari管理)组件服务详解
大数据·hadoop·ambari
isNotNullX11 小时前
企业数据中台建设,ETL工具选错了会踩哪些坑?
数据仓库·etl·原型模式
SelectDB技术团队13 小时前
预约发布会|核心产品力首发,如何构建面向 Agent 时代的企业级数据引擎
数据库·数据仓库·人工智能·数据分析·可观测·apache doris·selectdb
段一凡-华北理工大学14 小时前
工业领域的Hadoop架构学习~系列文章22:Hadoop生态展望 - 面向未来的技术演进
大数据·人工智能·hadoop·分布式·学习·架构·高炉炼铁
Nefu_lyh14 小时前
【Hive】六、Hive 运算逻辑:数学 / 逻辑 / 条件 / 日期 / 字符串函数
数据仓库·hive·hadoop
ChaITSimpleLove15 小时前
Etl.Net 2.2.0 项目深度分析
数据仓库·.net·etl·大数据处理·数据管道·数据处理引擎
知识分享小能手15 小时前
Hadoop学习教程,从入门到精通, HDFS分布式文件系统 — 完整知识点与案例代码(3)
hadoop·学习·hdfs
陆水A1 天前
【实时数仓·3】Flink多表JOIN状态爆炸——Event Time Temporal JOIN + TTL分层治理
大数据·数据仓库·数据分析·flink·数据库开发·bigdata
段一凡-华北理工大学1 天前
工业领域的Hadoop架构学习~系列文章20:故障诊断与根因分析 - 从表象到本质的智能推理
大数据·人工智能·hadoop·学习·架构·高炉炼铁·工业智能体
Francek Chen1 天前
【大数据处理与分析】MapReduce:05 MapReduce的具体应用
大数据·hadoop·分布式·mapreduce