大数据之安装Hive3.1.2

安装节点划分

|--------------|-----------------|-----------------|---------------|
| 节点名称 | Hive服务器 | Hive客户端 | MySQL |
| node1 | ★ | | |
| node2 | | | ★ |
| node3 | | ★ | |

下载

https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.2/

解压

bash 复制代码
tar -zxvf ./apache-hive-3.1.2-bin.tar.gz
mv apache-hive-3.1.2-bin hive-3.1.2

配置

配置node1、node3两台节点的Hive环境变量

bash 复制代码
vim /etc/profile
export HIVE_HOME=/software/hive-3.1.2/
export PATH=$PATH:$HIVE_HOME/bin

#source  生效
source /etc/profile

在node1节点$HIVE_HOME/conf下创建hive-site.xml并配置

XML 复制代码
<configuration>
 <property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive/warehouse</value>
 </property>
 <property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://node2:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
 </property>
 <property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
 </property>
 <property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
 </property>
 <property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>123456</value>
 </property>
</configuration>

在node3节点$HIVE_HOME/conf/中创建hive-site.xml并配置

XML 复制代码
<configuration>
 <property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive/warehouse</value>
 </property>
 <property>
  <name>hive.metastore.local</name>
  <value>false</value>
 </property>
 <property>
  <name>hive.metastore.uris</name>
  <value>thrift://node1:9083</value>
 </property>
</configuration>

node1、node3节点删除$HIVE_HOME/lib下"guava"包,使用Hadoop下的包替换,这一步操作是因为hadoop版本较

XML 复制代码
#删除Hive lib目录下"guava-19.0.jar "包
[root@node1 ~]# rm -rf /software/hive-3.1.2/lib/guava-19.0.jar 
[root@node3 ~]# rm -rf /software/hive-3.1.2/lib/guava-19.0.jar 

#将Hadoop lib下的"guava"包拷贝到Hive lib目录下
[root@node1 ~]# cp /software/hadoop-3.1.4/share/hadoop/common/lib/guava-27.0-jre.jar /software/hive-3.1.2/lib/

[root@node3 ~]# cp /software/hadoop-3.1.4/share/hadoop/common/lib/guava-27.0-jre.jar /software/hive-3.1.2/lib/

将"mysql-connector-java-5.1.47.jar"驱动包上传到node1 node3节点的$HIVE_HOME/lib目录下

在node1节点中初始化Hive

bash 复制代码
#初始化hive,hive2.x版本后都需要初始化
[root@node1 ~]# schematool -dbType mysql -initSchema

在服务端和客户端操作Hive

这里node1是服务端 node3是客户端。先启动hdfs,才能使用hive

bash 复制代码
#在node1启动Hive metastore
[root@node1 hadoop]# hive --service metastore &

#在node1中登录Hive ,创建表test(需要先启动hdfs)
[root@node1 conf]# hive
hive> create table test (id int,name string,age int ) row format delimited fields terminated by '\t';
#向表test中插入数据
hive> insert into test values(1,"zs",18);

#在node3上登录Hive客户端查看表数据
[root@node3 lib]# hive
hive> select * from test;
OK
1	zs	18
相关推荐
大大大大晴天9 小时前
浅聊维度建模中的星型模型与雪花模型
大数据
数字新视界13 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天14 小时前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
如夏倾城15 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
wuyk55516 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
培培说证16 小时前
大数据与会计专业性价比高的证书有哪些?
大数据
伞伞悦读18 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
老余说AI18 小时前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
starzy199018 小时前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
大数据·hadoop·hdfs
Lansonli19 小时前
大数据Spark(九十二):Spark WebUI介绍
大数据·分布式·spark