Hadoop生态圈框架部署 伪集群版（七）- Hive部署

大数据魔法师2024-12-08 16:14

文章目录

  • 前言
  • 一、Hive部署（手动部署）
    • [1. 下载Hive](#1. 下载Hive)
    • [2. 解压Hive安装包](#2. 解压Hive安装包)
      • [2.1 解压](#2.1 解压)
      • [2.2 重命名](#2.2 重命名)
      • [2.3 解决冲突](#2.3 解决冲突)
        • [2.3.1 解决guava冲突](#2.3.1 解决guava冲突)
        • [2.3.2 解决SLF4J冲突](#2.3.2 解决SLF4J冲突)
    • [3. 配置Hive](#3. 配置Hive)
      • [3.1 配置Hive环境变量](#3.1 配置Hive环境变量)
      • [3.2 修改 hive-site.xml 配置文件](#3.2 修改 hive-site.xml 配置文件)
      • [3.3 配置MySQL驱动包](#3.3 配置MySQL驱动包)
    • [4. 初始化MySQL上的存储hive元数据的数据库](#4. 初始化MySQL上的存储hive元数据的数据库)
    • [5. 进入Hive客户端](#5. 进入Hive客户端)
    • [6. 设置远程连接](#6. 设置远程连接)
      • [6.1 启动MetaStore服务](#6.1 启动MetaStore服务)
      • [6.2 启动HiveServer2服务](#6.2 启动HiveServer2服务)
      • [6.3 进入Hive客户端](#6.3 进入Hive客户端)
  • 注意

前言

随着大数据技术的不断发展，数据处理和分析的需求日益增长。Apache Hive作为基于Hadoop的一个数据仓库工具，能够极大地简化对大规模数据集的查询和管理过程。它允许用户使用类似于SQL的HiveQL语言查询数据，这使得那些熟悉关系型数据库管理系统（RDBMS）的开发者可以轻松地转移到大数据平台上来。

本指南旨在为想要在Linux环境中手动部署和配置Apache Hive 3.1.3的读者提供一个详尽的操作步骤集合。我们将从下载安装包开始，一直到成功启动Hive服务，并确保其能够稳定运行。

一、Hive部署（手动部署）

1. 下载Hive

执行如下命令下载hive的安装包apache-hive-3.1.3-bin.tar.gz到/export/software目录。

shell 复制代码 
wget https://repo.huaweicloud.com/apache/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz -P /export/software

也可以点击此连接下载到windows，再上传到Linux的/export/software目录。

2. 解压Hive安装包

2.1 解压

将Hive安装包通过解压方式安装至/export/servers目录。

shell 复制代码 
tar -zxvf /export/software/apache-hive-3.1.3-bin.tar.gz -C /export/servers/

解压完成如下图所示。

2.2 重命名

执行如下命令将apache-hive-3.1.3-bin重命名为hive-3.1.3。

shell 复制代码 
mv /export/servers/apache-hive-3.1.3-bin /export/servers/hive-3.1.3

2.3 解决冲突

2.3.1 解决guava冲突

如下图所示，hadoop中的guava与hive中的guava版本不一致，会产生冲突，需要把hive的guava更换为hadoop的guava高版本。

shell 复制代码 
rm -f /export/servers/hive-3.1.3/lib/guava-19.0.jar
cp /export/servers/hadoop-3.3.0/share/hadoop/common/lib/guava-27.0-jre.jar /export/servers/hive-3.1.3/lib
2.3.2 解决SLF4J冲突

执行如下命令解决slf4j冲突问题。

shell 复制代码 
rm -f /export/servers/hive-3.1.3/lib/log4j-slf4j-impl-2.17.1.jar

3. 配置Hive

3.1 配置Hive环境变量

执行如下命令设置Hive环境变量，加载系统环境变量配置文件，并查看环境变量是否配置成功。

shell 复制代码 
echo >> /etc/profile
echo 'export HIVE_HOME=/export/servers/hive-3.1.3' >> /etc/profile
echo 'export PATH=$PATH:$HIVE_HOME/bin' >> /etc/profile
source /etc/profile
echo $HIVE_HOME

3.2 修改 hive-site.xml 配置文件

使用cat命令把配置内容重定向并写入到 /export/servers/hive-3.1.3/conf/hive-site.xml 文件。

shell 复制代码 
cat >/export/servers/hive-3.1.3/conf/hive-site.xml <<EOF
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 配置JDO（Java Data Objects）选项，指定Hive元数据存储的数据库连接URL。这里使用的是MySQL数据库，并且如果数据库不存在则自动创建。 -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
    <!-- 指定用于连接数据库的JDBC驱动类名 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.cj.jdbc.Driver</value>
    </property>
    <!-- 数据库连接用户名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- 数据库连接密码 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <!-- 指定Hive元数据仓库在HDFS上目录的位置 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
</configuration>
EOF

3.3 配置MySQL驱动包

执行如下命令下载MySQL驱动包到/export/servers/hive-3.1.3/lib目录下。

shell 复制代码 
wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.30/mysql-connector-java-8.0.30.jar -P /export/servers/hive-3.1.3/lib/

4. 初始化MySQL上的存储hive元数据的数据库

执行如下命令初始化MySQL上的存储hive元数据的数据库。

shell 复制代码 
schematool -initSchema -dbType mysql

初始化完成如下图所示。

5. 进入Hive客户端

在访问Hive客户端之前，由于Hive完全依赖于Hadoop集群，因此需要先启动Hadoop集群。

shell 复制代码 
start-all.sh

执行如下命令在本地进入Hive客户端。

shell 复制代码 
hive


退出Hive客户端。可以使用exit;命令或者按快捷键Ctrl+c退出。

shell 复制代码 
exit;

6. 设置远程连接

6.1 启动MetaStore服务

执行如下命令后台启动MetaStore服务，并指定日志输出位置。

shell 复制代码 
mkdir -p /export/servers/hive-3.1.3/logs
nohup hive --service metastore > /export/servers/hive-3.1.3/logs/metastore.log 2>&1 &

6.2 启动HiveServer2服务

执行如下命令后台启动HiveServer2服务，并指定日志输出位置。

shell 复制代码 
nohup hive --service hiveserver2 > /export/servers/hive-3.1.3/logs/hiveserver2.log 2>&1 &

可以使用如下命令查看启动后的MetaStore服务进程和HiveServer2服务进程，此时如果要停止对应服务，可以使用kill命令杀死对应进程。

shell 复制代码 
ps -ef | grep hive

6.3 进入Hive客户端

执行如下命令远程进入Hive客户端。

shell 复制代码 
beeline -u jdbc:hive2://hadoop:10000 -n root

  • 参数 -u：指定HiveServer2服务的JDBC URL。

    • jdbc:hive2://hadoop3:10000 中：
      • hadoop3 是运行HiveServer2服务的服务器主机名。
      • 10000 是HiveServer2服务默认使用的端口号。

  • 参数 -n：指定连接HiveServer2服务时使用的用户名。

    • root 是用户名，该用户必须具有操作HDFS的适当权限。

如果要退出hive客户端，可以使用按快捷键Ctrl+c退出客户端。

注意

每当系统重启后，为了确保Hive能够正常工作，首先需要执行如下命令启动Hadoop伪集群。

shell 复制代码 
start-all.sh

如果还需要支持远程连接功能，则必须执行如下命令启动Hive的MetaStore服务和HiveServer2服务。

shell 复制代码 
mkdir -p /export/servers/hive-3.1.3/logs
nohup hive --service metastore > /export/servers/hive-3.1.3/logs/metastore.log 2>&1 &
nohup hive --service hiveserver2 > /export/servers/hive-3.1.3/logs/hiveserver2.log 2>&1 &
相关推荐
大大大大晴天21 分钟前
从 Prompt 到 Tool Calling：AI Agent 如何稳定连接程序世界
大数据·agent
key_3_feng1 小时前
反馈闭环：Agent 自我进化的真正引擎
大数据·agent
EnCi Zheng2 小时前
Agent 如何进行工具调用：从一次 Function Calling 到生产级工具编排的完整链路
大数据·人工智能·agent·ai编程·工具调用
GlobalInfo2 小时前
重磅发布 | 2026年船体清洁机器人行业研究报告：市场规模、发展前景与十五五战略地图
大数据·人工智能·机器人
海宇服务2 小时前
零信任架构实战：基于海宇全能小微企业报告构建自动化园区商户免押租赁资信核验网关
大数据·人工智能·架构·自动化
热文新讯3 小时前
迎进博·话疗愈：2026酒店“疗愈睡眠”闭门研讨会在沪举行
大数据·人工智能·物联网
NailiConveyor6 小时前
柔性物流方案如何适配工厂升级？自动化输送流水线定制要点
大数据·运维·自动化·制造·业界资讯
梦影_6 小时前
MySQL进阶教程（五）—— SQL调优（下）
android·大数据·数据库·后端·sql·mysql·database
没落之王6 小时前
三易五行看宋朝的三界确立
大数据·人工智能·算法
samLi06209 小时前
【数据集】水星逆行及相关日期窗口数据（1973-2025年）
大数据
热门推荐
01国内可直接用、免费额度/永久免费的大模型API清单（含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等）02历年考研数学一、数学二、数学三真题试卷及答案PDF03GitHub 镜像站点04如何新建文件夹？ 电脑新建文件夹的4种方法05几个好用的ip纯净度检测网站06苹果iPA游戏软件资源下载网站07Android 屏幕适配系列开篇：核心概念、官方机制与主流方案08Dify：一站式AI应用开发平台全解析与Windows部署指南09UG NX12.0安装包下载与保姆级图文安装教程！！10蜘蛛磁力 搜索引擎大全，如何使用蜘蛛磁力查找磁力链接