Hive-安装与配置(1)

🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇


个人主页:beixi@

本文章收录于专栏(点击传送):【大数据学习】
💓💓持续更新中,感谢各位前辈朋友们支持学习~💓💓

文章目录

1.Hive环境介绍

Hive在Hadoop生态系统中运行,依赖Hadoop分布式文件系统(HDFS)和YARN资源管理器。它由以下几个主要组件组成:

  • 元数据存储:Hive使用关系型数据库(如MySQL、Derby等)来存储元数据,包括表的结构、分区信息、数据位置等。
  • Hive服务:Hive提供Hive CLI(命令行界面)和HiveServer2两种服务方式。Hive
  • CLI用于交互式查询和脚本执行,而HiveServer2允许通过JDBC或ODBC连接进行远程查询。
  • 查询执行引擎:Hive将HiveQL查询语句转换为MapReduce作业或Tez任务,并通过Hadoop集群执行这些作业。此外,Hive还支持LLAP(低延迟分析查询协议)引擎,用于加速查询执行。
  • 数据格式:Hive支持多种数据格式,包括文本、CSV、Parquet、ORC等。这些格式可以根据数据特性和查询需求进行选择。

2.搭建环境准备

本次用到的环境有:
1)Oracle Linux 7.4
2)Hadoop2.7.4
3)Hive2.1.1
4)Mysql5.5.57
5)Java1.8.0_144

3.建立Hive元数据库

1.进入MySQL命令窗口

bash 复制代码
mysql

2.建立Hive元数据需要的MySQL下的数据库"hive",并赋予相应权限

bash 复制代码
create database hive;
bash 复制代码
grant all privileges on *.* to 'root'@'master' identified by 'root';
grant all privileges on *.* to 'root'@'%' identified by 'root';
flush privileges;

3.查看数据库"hive"的权限

bash 复制代码
SELECT host,user,authentication_string,Grant_priv,Super_priv FROM mysql.user;

4.退出MySQL命令窗口

bash 复制代码
quit;

4.安装配置Hive

1.解压Hive压缩包至/opt目录下。

bash 复制代码
tar xf experiment/file/apache-hive-2.1.1-bin.tar.gz -C /opt/
bash 复制代码
ll /opt/

2.解压后的Hive压缩包apache-hive-2.1.1-bin更名为hive。

bash 复制代码
mv /opt/apache-hive-2.1.1-bin /opt/hive
bash 复制代码
ll /opt/

3.拷贝Hive需要的mysql依赖包mysql-connector-java-5.1.42.jar 至hive/lib目录下。

bash 复制代码
cp ~/experiment/file/mysql-connector-java-5.1.42.jar /opt/hive/lib/
bash 复制代码
ll /opt/hive/lib/mysql-*

4.打开配置Hive环境变量的文件profile。

bash 复制代码
vim /etc/profile

5.敲键盘"i"键,使profile处于可插入状态,配置Hive环境变量参数。

bash 复制代码
export HIVE_HOME=/opt/hive
export HIVE_CONF_DIR=/opt/hive/conf
export PATH=$HIVE_HOME/bin:$PATH

6.按"ESC"键,敲":wq!"命令,按回车保存并退出profile文件。

bash 复制代码
:wq!

7.使profile文件配置生效。

bash 复制代码
source /etc/profile

8.查看hive的环境变量是否生效。

bash 复制代码
echo $PATH

9.进入Hive配置文件的目录。

bash 复制代码
cd /opt/hive/conf/
bash 复制代码
ll

10.生成hive-site.xml文件。

bash 复制代码
cp /opt/hive/conf/hive-default.xml.template /opt/hive/conf/hive-site.xml
bash 复制代码
ll

11.打开配置hive-site.xml文件。

bash 复制代码
vim /opt/hive/conf/hive-site.xml

12.删除hive-site.xml文件中标签与之间的所有内容。根据实际情况而删

bash 复制代码
22gg
5327dd

13.删除hive-site.xml文件指定内容后的文件全部内容如下。

14.通过键盘敲入"i",使更改后的hive-site.xml文件处于可编辑状态,即可在文件下方看到"INSERT"或"插入"的字样。

15.将需要配置的参数敲入或者去已经配置好的文件里将配置内容(即Code001的所有内容)全部复制到hive-site.xml文件中与标签之间,粘贴的所有内容如下:

bash 复制代码
<property>
	<name>hive.metastore.warehouse.dir</name>
	<value>/data/hive/warehouse</value>
</property>
<property>
	<name>hive.metastore.local</name>
	<value>true</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionURL</name>
	<value>jdbc:mysql://master/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionDriverName</name>
	<value>com.mysql.jdbc.Driver</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionUserName</name>
	<value>root</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionPassword</name>
	<value>root</value>
</property>
<property>
	<name>hive.metastore.schema.verification</name>
	<value>false</value>
</property>

16.注意粘贴(点击文档的空白处,点击鼠标右键,即可看到"粘贴"或"Paste"选项,选中它完成粘贴)的位置位于标签与之间。

17.粘贴后的hive-site.xml文件如下所示,按ESC键,录入":wq!"退出并保存文件。

bash 复制代码
:wq!

至此Hive的安装与配置就结束了,如果本篇文章对你有帮助记得点赞收藏+关注~

相关推荐
seanmeng2022几秒前
Apache Iceberg on AWS - 理解Iceberg表格式
大数据
MarkGosling14 分钟前
【开源项目】网络诊断告别命令行!NetSonar:开源多协议网络诊断利器
运维·后端·自动化运维
无敌的牛20 分钟前
Linux基础开发工具
linux·运维·服务器
Edingbrugh.南空21 分钟前
实战指南:用pmap+gdb排查Linux进程内存问题
linux·运维·服务器
朱颜辞镜花辞树‎33 分钟前
GitHub 操作指南:项目协作与自动化工作流实践
运维·自动化·github
简婷1870199877534 分钟前
高速路上的 “阳光哨兵”:分布式光伏监控系统守护能源高效运转
分布式·能源
孙克旭_1 小时前
day051-ansible循环、判断与jinja2模板
linux·运维·服务器·网络·ansible
运器1231 小时前
【一起来学AI大模型】PyTorch DataLoader 实战指南
大数据·人工智能·pytorch·python·深度学习·ai·ai编程
钺商科技1 小时前
【6.1.2 漫画分布式事务技术选型】
分布式
帅次2 小时前
系统分析师-计算机系统-输入输出系统
人工智能·分布式·深度学习·神经网络·架构·系统架构·硬件架构