Hive的介绍和使用

一、Hive简介

Hive 是一个框架,可以通过编写sql的方式,自动的编译为MR任务的一个工具。

在这个世界上,会写SQL的人远远大于会写java代码的人,所以假如可以将MR通过sql实现,这个将是一个巨大的市场,FaceBook就这么干。(脸书)

在大数据中,发展趋势:所有的技术全部都变为SQL。
1、Hive是一个数据仓库工具

2、可以将数据加载到表中,编写sql进行分析

3、底层依赖Hadoop,所以每一次都需要启动hadoop(hdfs以及yarn)

4、Hive的底层计算框架可以使用MR、也可以使用Spark、TEZ

5、Hive不是数据库,而是一个将MR包了一层壳儿。类似于一个中介。

Hive官网地址:Apache Hive

GitHub地址: GitHub - apache/hive: Apache Hive · GitHub

文档查看地址:https://cwiki.apache.org/confluence/display/Hive/GettingStarted

目前我们可以采用稳定版(realease):4.0.1

Hive天然的就是当做数据仓库使用的。什么是数据仓库?

  • 数据仓库不是某一款存储软件,是面向分析、经过统一清洗整合的数据集 + 整套架构,存储只是它的底座;
  • Oracle 是关系型数据库,可作为小型数仓的承载载体;Hive 是大数据生态下构建分布式数仓的 SQL 查询引擎;
  • 为了高效取用数据,数仓必须做分层设计,这套分层、表结构、维度事实表的设计工作就是数据建模,和实体仓库分区管理逻辑相

二、Hive体系结构图

注意:

  • 包含*的全表查询,比如select * from table 不会生成MapRedcue任务

  • 包含*的limit查询,比如select * from table limit 3 不会生成MapRedcue任务

三、本地模式安装

hive的下载地址(包含历史归档版本):https://archive.apache.org/dist/hive/

选择版本后下载。

相关推荐
Ahtacca2 天前
hadoop部署前置准备
hadoop
tianhuo0032 天前
从MySQL到Apache Doris:生鲜供应链数仓的ETL流水线与SARIMA需求预测全实
数据仓库·数据中台·零售行业供应链数字化
计算机源码社2 天前
基于K-Means聚类的新生儿败血症临床分型与可视化分析系统 基于数据挖掘的新生儿败血症生命体征时序走势与关联性可视化研究
大数据·hadoop·python·数据挖掘·数据分析·spark·毕业设计
SendTomo2 天前
.ico透明图标在线生成下载平台深度解析
大数据·数据结构·数据库·数据仓库·个人开发
计算机源码社2 天前
基于大数据的全球温室气体排放燃料结构与碳强度评估研究-基于Spark的全球温室气体排放多维度检测与评估分析
大数据·hadoop·python·数据挖掘·数据分析·spark·毕业设计
qingwufeiyang_5303 天前
IceBerg学习笔记2
数据仓库·数据湖
Q26433650233 天前
【有i源码】基于大数据的城市交通流量与出行特征可视化分析平台-基于Hadoop的城市交通拥堵关联规则与异常检测研究
大数据·hadoop·机器学习·数据挖掘·数据分析·spark·数据可视化
kaoa0003 天前
Linux入门攻坚——90、Hadoop-2-MapReduce计算框架及Hadoop生态系统概览
linux·hadoop·mapreduce
Gl�ria3 天前
Hadoop 集群高可用节点分布
hadoop
计算机源码社3 天前
基于Hadoop+Spark的商家优惠券营销效果数据分析与可视化-基于Python的商家优惠券营销效果检测与评估分析系统
大数据·hadoop·python·数据挖掘·spark·毕业设计·数据可视化