Hive: Hive的优缺点,使用方式,判断Hive是否启动(jps),元数据的存储,Hive和Hadoop的关系

hive 是一个构建在 Hadoop 上的数据仓库 工具 ( 框架 ) ,可以将结构化的数据文件映射成一张数据表,并可以使用类sql 的方式来对这样的数据文件进行读,写以及管理(包括元数据)。这套 HIVE SQL 简称 HQL。 hive 的执行引擎可以是 MR 、 spark 、 tez 。

如果执行引擎是MapReduce 的话, hive 会将 Hql 翻译成MR进行数据的计算。

使用Hive的原因

Hive的优缺点

Hive的使用方式

用户可以使用命令行工具或 JDBC驱动程序(第三方工具)来连接到 hive 。
第三方工具: Tue, DBeaver, DataGrip, Intellij Idea
使用命令行工具 (如下图)

使用第三方工具连接Hive

通过Web UI 访问Hive, 比如Hue

User Interface(用户界面)

DBeaver

(hive的有些功能不能用)

连接数据库>>Hive>>填写JDBC链接设置>>>编辑驱动设置>>库>>添加文件>>选择驱动包>>测试连接

进入库之后,空间2个红色的文件包,全选删掉后,添加想要使用的驱动包

连接完成左侧会出现Hive的图标

DataGrip

(功能强大,能自动补全命令,但是收费)

下载

官网首页

DataGrip 类似DBeaver,可以连很多种数据库,但是连不了高斯

DataGrip 连接Hive

方法一: 文件>>新建>>数据源>>Hive

方法二: 数据库>>数据源>>Hive

名称: 自定义

主机: IP地址

密码不需要

如果点击下方的下载,下载的是Hadoop官网最新的驱动, 点击驱动程序的Apache Hive

如果版本不对,点击 - 号删掉,再点击+号>>自定义>>选择你已经准备好的驱动器版本

后退一步,点击测试>>测试成功>>应用

连接成功后左侧会出现Hive

如何判断Hive是否启动 jps

命令行输入jps ,出现2个RunJar即表明Hive已经启动(一个是元数据服务,一个远程访问服务)

Hive有自己的Metastore服务(用于存储元数据)和HiveServer2(用于处理客户端请求)。如果这两个服务都是通过 java -jar 命令启动的,都显示为 RunJar

如果只启动Metastore服务,那么只有一个RunJar,那么只能在命令行访问Hive

端口号

Hive和mysql一样,一个用户可以拥有多个库(oracle是一个库里面有多个用户),

Hive的默认端口号是10000,

oracle的默认端口号 1521

mysql的默认端口号 3306

高斯200的默认端口号 5433

Hive元数据的存储

即Metastore,Hive 有三种配置模式:内嵌模式、本地模式和远程模式

内嵌模式: 元数据存储在内置的Derby数据库中,单用户模式,只适合测试环境

本地模式和远程模式: 元数据存储在MYSQl

Hive和Hadoop的关系

Hive和关系型数据库的比较

hive对于数据只支持追加和覆盖

相关推荐
派可数据BI可视化10 小时前
商业智能BI 浅谈数据孤岛和数据分析的发展
大数据·数据库·数据仓库·信息可视化·数据挖掘·数据分析
随心............16 小时前
yarn面试题
大数据·hive·spark
Aurora_eye20 小时前
记录之Ubuntu22.4虚拟机及hadoop为分布式安装
大数据·hadoop·分布式
SirLancelot11 天前
StarRocks-基本介绍(一)基本概念、特点、适用场景
大数据·数据库·数据仓库·sql·数据分析·database·数据库架构
随心............1 天前
在开发过程中遇到问题如何解决,以及两个经典问题
hive·hadoop·spark
yumgpkpm2 天前
CMP (类ClouderaCDP7.3(404次编译) )华为鲲鹏Aarch64(ARM)信创环境 查询2100w行 hive 查询策略
数据库·数据仓库·hive·hadoop·flink·mapreduce·big data
CoookeCola2 天前
MovieNet(A holistic dataset for movie understanding) :面向电影理解的多模态综合数据集与工具链
数据仓库·人工智能·目标检测·计算机视觉·数据挖掘
K_i1343 天前
Hadoop 集群自动化运维实战
运维·hadoop·自动化
Q26433650233 天前
【有源码】基于Python与Spark的火锅店数据可视化分析系统-基于机器学习的火锅店综合竞争力评估与可视化分析-基于用户画像聚类的火锅店市场细分与可视化研究
大数据·hadoop·python·机器学习·数据分析·spark·毕业设计
想ai抽3 天前
深入starrocks-多列联合统计一致性探查与策略(YY一下)
java·数据库·数据仓库