Hive的介绍和使用

一、Hive简介

Hive 是一个框架,可以通过编写sql的方式,自动的编译为MR任务的一个工具。

在这个世界上,会写SQL的人远远大于会写java代码的人,所以假如可以将MR通过sql实现,这个将是一个巨大的市场,FaceBook就这么干。(脸书)

在大数据中,发展趋势:所有的技术全部都变为SQL。
1、Hive是一个数据仓库工具

2、可以将数据加载到表中,编写sql进行分析

3、底层依赖Hadoop,所以每一次都需要启动hadoop(hdfs以及yarn)

4、Hive的底层计算框架可以使用MR、也可以使用Spark、TEZ

5、Hive不是数据库,而是一个将MR包了一层壳儿。类似于一个中介。

Hive官网地址:Apache Hive

GitHub地址: GitHub - apache/hive: Apache Hive · GitHub

文档查看地址:https://cwiki.apache.org/confluence/display/Hive/GettingStarted

目前我们可以采用稳定版(realease):4.0.1

Hive天然的就是当做数据仓库使用的。什么是数据仓库?

  • 数据仓库不是某一款存储软件,是面向分析、经过统一清洗整合的数据集 + 整套架构,存储只是它的底座;
  • Oracle 是关系型数据库,可作为小型数仓的承载载体;Hive 是大数据生态下构建分布式数仓的 SQL 查询引擎;
  • 为了高效取用数据,数仓必须做分层设计,这套分层、表结构、维度事实表的设计工作就是数据建模,和实体仓库分区管理逻辑相

二、Hive体系结构图

注意:

  • 包含*的全表查询,比如select * from table 不会生成MapRedcue任务

  • 包含*的limit查询,比如select * from table limit 3 不会生成MapRedcue任务

三、本地模式安装

hive的下载地址(包含历史归档版本):https://archive.apache.org/dist/hive/

选择版本后下载。

相关推荐
光电的一只菜鸡2 天前
小白从零开始学agent(二)——如何高效编写 Prompt 与 Skill
hadoop·microsoft·prompt
德昂信息dataondemand2 天前
数仓ETL避坑指南:如何攻克时序指标中的数据问题
数据仓库·商务智能
哥本哈士奇2 天前
dbt+SQLServer构建数据仓库(3):dbt_project.yml配置精讲
数据仓库·sqlserver
哥本哈士奇2 天前
dbt+SQLServer构建数据仓库(4):分层建模实战
数据仓库·sqlserver
l1t3 天前
kryonix提交的DuckDB 统一并优化标量执行器基础设施 - #24564 PR
开发语言·数据库·数据仓库·sql
ZCBUS实时计算4 天前
政务海量分库分表汇聚实战:基于 3 节点 ZCBUS 集群完成医保 10TB 数据实时整合
大数据·数据库·数据仓库·sql·dba·etl·政务
William Dawson5 天前
【踩坑实录|Hive1\.2\.1数据服务接口5大疑难问题调试与全方位优化方案】
java·hive·spring boot
hopsky5 天前
数据架构与商业智能
数据仓库·bi
ha_lydms5 天前
Hologres 简介
大数据·hadoop·阿里云·mapreduce·yarn·dataworks·hologres