Hive的介绍和使用

一、Hive简介

Hive 是一个框架,可以通过编写sql的方式,自动的编译为MR任务的一个工具。

在这个世界上,会写SQL的人远远大于会写java代码的人,所以假如可以将MR通过sql实现,这个将是一个巨大的市场,FaceBook就这么干。(脸书)

在大数据中,发展趋势:所有的技术全部都变为SQL。
1、Hive是一个数据仓库工具

2、可以将数据加载到表中,编写sql进行分析

3、底层依赖Hadoop,所以每一次都需要启动hadoop(hdfs以及yarn)

4、Hive的底层计算框架可以使用MR、也可以使用Spark、TEZ

5、Hive不是数据库,而是一个将MR包了一层壳儿。类似于一个中介。

Hive官网地址:Apache Hive

GitHub地址: GitHub - apache/hive: Apache Hive · GitHub

文档查看地址:https://cwiki.apache.org/confluence/display/Hive/GettingStarted

目前我们可以采用稳定版(realease):4.0.1

Hive天然的就是当做数据仓库使用的。什么是数据仓库?

  • 数据仓库不是某一款存储软件,是面向分析、经过统一清洗整合的数据集 + 整套架构,存储只是它的底座;
  • Oracle 是关系型数据库,可作为小型数仓的承载载体;Hive 是大数据生态下构建分布式数仓的 SQL 查询引擎;
  • 为了高效取用数据,数仓必须做分层设计,这套分层、表结构、维度事实表的设计工作就是数据建模,和实体仓库分区管理逻辑相

二、Hive体系结构图

注意:

  • 包含*的全表查询,比如select * from table 不会生成MapRedcue任务

  • 包含*的limit查询,比如select * from table limit 3 不会生成MapRedcue任务

三、本地模式安装

hive的下载地址(包含历史归档版本):https://archive.apache.org/dist/hive/

选择版本后下载。

相关推荐
DataY轻量数据平台1 天前
任务调度的三种模式:什么时候跑、按什么顺序跑、等谁跑完
数据仓库·etl
演艺大赏1 天前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
宽海智能仓储物流1 天前
宽海智能WCS系统常见问题全解析:从选型对接、运维定制到降本增效
运维·数据仓库·自动化
starzy19901 天前
Hadoop介绍总结:一张图理清组件、生态与版本
java·hadoop
演艺大赏2 天前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
演艺大赏2 天前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
吾AI科技4 天前
基于Tez引擎的 Hive SQL 性能优化 —— 为什么脚本运行越来越慢
大数据·hive·性能优化·tez
上海潭龙东海科技有限公司5 天前
客运站管控之动态孪生技术方案(新增一屏管控模块
数据仓库·人工智能·算法·重构·动态规划
freejackman9 天前
【工程化】从“单兵作战”到“多引擎架构”:基于门面模式的重构实战
大数据·数据库·hive·sql·测试工具·设计模式·架构
skywalk816312 天前
hive 常驻集群:像 OSPF 一样在线,像 git 一样可信
运维·人工智能·hive