Hive简介 | 体系结构

Hive简介

Hive 是一个框架,可以通过编写sql的方式,自动的编译为MR任务的一个工具。

在这个世界上,会写SQL的人远远大于会写java代码的人,所以假如可以将MR通过sql实现,这个将是一个巨大的市场,FaceBook就这么干。(脸书)

FaceBook --> Meta (元宇宙) --> 社交网站(校内网)

在大数据中,发展趋势:所有的技术全部都变为SQL。

1、Hive是一个数据仓库工具

2、可以将数据加载到表中,编写sql进行分析

3、底层依赖Hadoop,所以每一次都需要启动hadoop(hdfs以及yarn)

4、Hive的底层计算框架可以使用MR、也可以使用Spark、TEZ

5、Hive不是数据库,而是一个将MR包了一层壳儿。类似于一个中介。

Hive天然的就是当做数据仓库使用的。什么是数据仓库?

数据仓库:数据的仓库,一般只要能存数据的软件都可以当做数据仓库。

比如:开了一个超市,必须有一个仓库,这个仓库是不是可大可小。以前数据量特别小的时候,一般都使用Oracle当做数据仓库,现在企业中一般都使用大数据技术中 的Hive或者跟Hive类似的技术当做数据仓库。

普通的仓库:一般也是分类的,比如食品区、衣服区、电子产品区

数据仓库:也是需要搭建的(分层),方便使用者从仓库中快速的获取想要的数据。仓库搭建的好不好,就叫做建模。

体系结构

注意:

  • 包含*的全表查询,比如select * from table 不会生成MapRedcue任务

  • 包含*的limit查询,比如select * from table limit 3 不会生成MapRedcue任务

相关推荐
躺着听Jay4 分钟前
【1267 - Illegal mix of collations 】mysql报错解决记录
java·linux·前端
不秃头的帅哥10 分钟前
程序地址空间(基于c++和linxu的一些个人笔记
linux·开发语言·c++·操作系统·内存空间
Yweir11 分钟前
Linux性能监控的工具集和分析命令工具
java·linux·jvm
ZKNOW甄知科技20 分钟前
AI-ITSM的时代正在到来:深度解读Gartner最新报告
大数据·运维·人工智能·低代码·网络安全·微服务·重构
XH-hui21 分钟前
【打靶日记】群内靶机Monkey
linux·网络安全
赖small强21 分钟前
【Linux C/C++开发】C语言函数深度技术指南 (Deep Dive into C Functions)
linux·c语言·函数指针·stack frame
xinyuan_12345622 分钟前
数智化招采平台实战指南:AI如何让采购管理实现效率与价值落地
大数据·人工智能
Tezign_space23 分钟前
技术实战:Crocs如何构建AI驱动的智能内容矩阵,实现内容播放量提升470%?
大数据·人工智能·矩阵·aigc·内容运营·多智能体系统·智能内容矩阵
XH-hui25 分钟前
【打靶日记】群内靶机Alluser
linux·网络安全
八月瓜科技35 分钟前
八月瓜科技参与“数据要素驱动产业升级”活动,分享【数据赋能科技创新全链条】
java·大数据·人工智能·科技·机器人·程序员创富