Hive的介绍和使用

一、Hive简介

Hive 是一个框架,可以通过编写sql的方式,自动的编译为MR任务的一个工具。

在这个世界上,会写SQL的人远远大于会写java代码的人,所以假如可以将MR通过sql实现,这个将是一个巨大的市场,FaceBook就这么干。(脸书)

在大数据中,发展趋势:所有的技术全部都变为SQL。
1、Hive是一个数据仓库工具

2、可以将数据加载到表中,编写sql进行分析

3、底层依赖Hadoop,所以每一次都需要启动hadoop(hdfs以及yarn)

4、Hive的底层计算框架可以使用MR、也可以使用Spark、TEZ

5、Hive不是数据库,而是一个将MR包了一层壳儿。类似于一个中介。

Hive官网地址:Apache Hive

GitHub地址: GitHub - apache/hive: Apache Hive · GitHub

文档查看地址:https://cwiki.apache.org/confluence/display/Hive/GettingStarted

目前我们可以采用稳定版(realease):4.0.1

Hive天然的就是当做数据仓库使用的。什么是数据仓库?

  • 数据仓库不是某一款存储软件,是面向分析、经过统一清洗整合的数据集 + 整套架构,存储只是它的底座;
  • Oracle 是关系型数据库,可作为小型数仓的承载载体;Hive 是大数据生态下构建分布式数仓的 SQL 查询引擎;
  • 为了高效取用数据,数仓必须做分层设计,这套分层、表结构、维度事实表的设计工作就是数据建模,和实体仓库分区管理逻辑相

二、Hive体系结构图

注意:

  • 包含*的全表查询,比如select * from table 不会生成MapRedcue任务

  • 包含*的limit查询,比如select * from table limit 3 不会生成MapRedcue任务

三、本地模式安装

hive的下载地址(包含历史归档版本):https://archive.apache.org/dist/hive/

选择版本后下载。

相关推荐
53488736abcdefg15 小时前
Hive 入门&架构原理
hive·hadoop·架构
泡干脆面就番茄18 小时前
Hadoop基础入门到实战:从Python理解MapReduce到HDFS架构与集群搭建
hadoop
磁场转动100万匹20 小时前
Hive 学习第一天:搞懂它是什么,并搭好可用的环境
hive·hadoop·学习
磁场转动100万匹21 小时前
Hive 学习第三天:HQL 查询精讲与内置函数实战
hive·hadoop·学习
陈年老古董1 天前
Hive DML 语言学习笔记:数据加载、插入、导出与导入
hive·笔记·学习·mysql
clorinda1 天前
Hive 窗口函数详解:让数据在分组中完成排名、累计和跨行计算
数据仓库·hive·hadoop
计算机毕业编程指导师1 天前
【计算机毕设选题】基于Hadoop的零售交易者行为特征与生存状况数据分析及可视化系统源码 毕业设计 选题推荐 数据分析 机器学习
大数据·hadoop·python·spark·毕业设计·课程设计·零售
陈年老古董1 天前
Hive 文件格式与查询学习笔记
hive·笔记·学习
Sayai2 天前
ClickHouse WITH FILL 实战:监控大屏时间序列补零,附多粒度指标表与物化视图级联设计
大数据·运维·数据仓库·clickhouse·物化视图
计算机毕业编程指导师2 天前
计算机毕设怎么做?Python+Hadoop的跨平台消费者评论情感分析与数据可视化系统实战 源码 毕业设计 选题推荐 毕设选题 数据分析
大数据·hadoop·python·计算机·spark·课程设计·消费者评论