Hive集群的安装准备

Hive的安装与集群部署详细指南

一、环境与软件准备

在开始Hive的安装与集群部署之前,确保您准备好以下环境和软件:

  1. 虚拟机软件
    • VMware Workstation 17.5:用于创建和管理虚拟机,确保可以在其上安装Linux操作系统。
  2. 操作系统
    • CentOS 7 / RedHat:建议使用rpm/yum进行包管理,以简化软件的安装过程。
  3. 网络配置
    • IP段规划:设定IP地址范围为192.168.200.128至192.168.200.254。
    • 网关:设置为192.168.200.2。
    • 节点配置
      • 主节点:<font style="color:rgb(51, 51, 51);background-color:rgb(248, 248, 248);">bigdata01</font> (192.168.200.151)
      • 从节点:<font style="color:rgb(51, 51, 51);background-color:rgb(248, 248, 248);">bigdata02</font> (192.168.200.152) 和 <font style="color:rgb(51, 51, 51);background-color:rgb(248, 248, 248);">bigdata03</font> (192.168.200.153)
二、基础配置

在安装Hive之前,需要进行一些基础配置,以确保集群环境正常运行。

  1. 设置主机名
plain 复制代码
echo "bigdata01" > /etc/hostname
# 之后在bigdata02和bigdata03上设置对应的主机名
  1. 配置静态IP
    修改网络配置文件<font style="color:rgb(51, 51, 51);background-color:rgb(248, 248, 248);">/etc/sysconfig/network-scripts/ifcfg-ens33</font>,示例配置如下:
plain 复制代码
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.200.151  # 对应主节点的IP
NETMASK=255.255.255.0
GATEWAY=192.168.200.2
DNS1=114.114.114.114
  1. 配置hosts文件
    为了使节点之间能够相互识别,修改<font style="color:rgb(51, 51, 51);background-color:rgb(248, 248, 248);">/etc/hosts</font>文件,添加以下内容:
plain 复制代码
echo -e "192.168.200.151 bigdata01\n192.168.200.152 bigdata02\n192.168.200.153 bigdata03" >> /etc/hosts
  1. 关闭防火墙
    在集群搭建初期,关闭防火墙以避免网络问题:
plain 复制代码
systemctl stop firewalld
systemctl disable firewalld
  1. 重启系统
    使配置生效:
plain 复制代码
reboot
三、JDK安装

Hive依赖于Java环境,因此必须先安装JDK。

  1. 卸载已有的JDK
    在安装新版本之前,首先卸载系统自带的JDK:
plain 复制代码
yum -y remove java-1.*
  1. 安装JDK
    下载并解压JDK:
plain 复制代码
mkdir /usr/java
tar -zxvf jdk-8u161-linux-x64.tar.gz -C /usr/java
  1. 配置环境变量
    <font style="color:rgb(51, 51, 51);background-color:rgb(248, 248, 248);">/etc/profile</font>中添加以下内容,使JDK环境变量生效:
plain 复制代码
export JAVA_HOME=/usr/java/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin

运行以下命令使更改立即生效:

plain 复制代码
source /etc/profile
以上的 jdk 包与 系统镜像文件可以私信作者
相关推荐
XINVRY-FPGA5 小时前
XCZU4EV-1FBVB900E Xilinx FPGA AMD Zynq UltraScale+ MPSoC EV(Embedded Vision)
arm开发·嵌入式硬件·计算机视觉·fpga开发·硬件架构·硬件工程·fpga
盲盒Q12 小时前
《频率之光:归途之光》
人工智能·硬件架构·量子计算
码字的字节18 小时前
ZooKeeper在Hadoop中的协同应用:从NameNode选主到分布式锁实现
hadoop·分布式·zookeeper·分布式锁
码字的字节1 天前
深入解析YARN中的FairScheduler与CapacityScheduler:资源分配策略的核心区别
hadoop·capacity·fairscheduler
Johny_Zhao1 天前
Centos8搭建hadoop高可用集群
linux·hadoop·python·网络安全·信息安全·云计算·shell·yum源·系统运维·itsm
码字的字节2 天前
深入解析Hadoop高频面试题:HDFS读/写流程的RPC调用链
hadoop·hdfs·rpc
白日与明月2 天前
Hive-vscode-snippets
hive·hadoop·vscode
Sirius Wu2 天前
Hive的窗口函数
数据仓库·hive·hadoop
码字的字节2 天前
深入解析HBase如何保证强一致性:WAL日志与MVCC机制
hadoop·hbase·wal·mvcc
シ風箏2 天前
Hive【安装 01】hive-3.1.2版本安装配置(含 mysql-connector-java-5.1.47.jar 网盘资源)
java·hive·mysql