Hive基础简介

Hive基础简介

一、为啥有Hive

MySQL:

处理不了大数据 & SQL语句简单--->

Hadoop:

HDFS【存储 & 需要Java能力和MR能力】+ MapReduce(MR)【处理数据 & 需要Java能力和MR能力】--->

HiveSQL:

分析处理大数据 & 语句简单

二、Hive基础考点概念

1、Hive是一个用于分析结构化数据和半结构化数据

数据仓库系统。它建立在Hadoop之上。

2、它是一个类似SQL的查询工具,用于查询存储在HDFS和其他与Hadoop集成的文件系统中的数据。

3、Hive提供读取、写入和管理驻留在分布式存储中的大型数据集的功能。

4、它运行名为HQL(Hive查询语言)的类似SQL的查询,该HQL在内部默认自动转换为MapReduce , 可以更改为其他工具,例如Tez或Spark。

5、它是离线批处理

6、无需学习Java和Hadoop。

7、可扩展性、快、灵活

8、支持从序列化文件、文本文件、avro文件、orc文件、rc文件、Hbase表读取数据分析

9、Hive的元数据存在RDBMS里(例如MySQL),所以安装Hive之前要先安装RDBMS

10、Hive支持压缩功能

11、Hive支持Join联查功能

12、Hive支持索引来精准查询

13、Hive支持用户自定义函数可以自己写Java代码编写

三、Hive 适用、不适用情况
非适用 适用
关系型数据库 非关系型数据库
用于交易、事务处理 用于大批量分析
实时更新查询 离线批处理
低延迟、低吞吐量 高延迟、高吞吐量
四、Hive架构
相关推荐
那就学有所成吧(˵¯͒¯͒˵)8 小时前
大数据项目(一):Hadoop 云网盘管理系统开发实践
大数据·hadoop·分布式
BYSJMG16 小时前
计算机毕业设计选题推荐:基于Hadoop的城市交通数据可视化系统
大数据·vue.js·hadoop·分布式·后端·信息可视化·课程设计
沃达德软件20 小时前
智慧警务技战法
大数据·数据仓库·hadoop·深度学习·机器学习·数据挖掘
TTBIGDATA21 小时前
【Hue】Ambari 页面启动 Hue 失败 user ‘hadoop‘ does not exist
java·hadoop·ambari
bigdata-rookie2 天前
Starrocks 简介
大数据·数据库·数据仓库
尘世壹俗人2 天前
Zookeeper、Hadoop、Hive配置Kerberos
hadoop
B站计算机毕业设计超人2 天前
计算机毕业设计hadoop+spark+hive在线教育可视化 课程推荐系统 大数据毕业设计(源码+LW文档+PPT+讲解)
大数据·人工智能·hive·hadoop·scrapy·spark·课程设计
B站计算机毕业设计超人2 天前
计算机毕业设计PySpark+Hive+Django小红书评论情感分析 小红书笔记可视化 小红书舆情分析预测系统 大数据毕业设计(源码+LW+PPT+讲解)
大数据·人工智能·hive·爬虫·python·spark·课程设计
普通网友2 天前
Hive ACID 事务表实战:插入 / 更新 / 删除操作的配置与使用限制
数据仓库·hive·hadoop
独自归家的兔2 天前
windows Hive使用全攻略:从入门到实战,轻松搞定大数据处理 - Hadoop windows安装
数据仓库·hive·hadoop