Hive集群的安装准备

Hive的安装与集群部署详细指南

一、环境与软件准备

在开始Hive的安装与集群部署之前,确保您准备好以下环境和软件:

  1. 虚拟机软件
    • VMware Workstation 17.5:用于创建和管理虚拟机,确保可以在其上安装Linux操作系统。
  2. 操作系统
    • CentOS 7 / RedHat:建议使用rpm/yum进行包管理,以简化软件的安装过程。
  3. 网络配置
    • IP段规划:设定IP地址范围为192.168.200.128至192.168.200.254。
    • 网关:设置为192.168.200.2。
    • 节点配置
      • 主节点:<font style="color:rgb(51, 51, 51);background-color:rgb(248, 248, 248);">bigdata01</font> (192.168.200.151)
      • 从节点:<font style="color:rgb(51, 51, 51);background-color:rgb(248, 248, 248);">bigdata02</font> (192.168.200.152) 和 <font style="color:rgb(51, 51, 51);background-color:rgb(248, 248, 248);">bigdata03</font> (192.168.200.153)
二、基础配置

在安装Hive之前,需要进行一些基础配置,以确保集群环境正常运行。

  1. 设置主机名
plain 复制代码
echo "bigdata01" > /etc/hostname
# 之后在bigdata02和bigdata03上设置对应的主机名
  1. 配置静态IP
    修改网络配置文件<font style="color:rgb(51, 51, 51);background-color:rgb(248, 248, 248);">/etc/sysconfig/network-scripts/ifcfg-ens33</font>,示例配置如下:
plain 复制代码
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.200.151  # 对应主节点的IP
NETMASK=255.255.255.0
GATEWAY=192.168.200.2
DNS1=114.114.114.114
  1. 配置hosts文件
    为了使节点之间能够相互识别,修改<font style="color:rgb(51, 51, 51);background-color:rgb(248, 248, 248);">/etc/hosts</font>文件,添加以下内容:
plain 复制代码
echo -e "192.168.200.151 bigdata01\n192.168.200.152 bigdata02\n192.168.200.153 bigdata03" >> /etc/hosts
  1. 关闭防火墙
    在集群搭建初期,关闭防火墙以避免网络问题:
plain 复制代码
systemctl stop firewalld
systemctl disable firewalld
  1. 重启系统
    使配置生效:
plain 复制代码
reboot
三、JDK安装

Hive依赖于Java环境,因此必须先安装JDK。

  1. 卸载已有的JDK
    在安装新版本之前,首先卸载系统自带的JDK:
plain 复制代码
yum -y remove java-1.*
  1. 安装JDK
    下载并解压JDK:
plain 复制代码
mkdir /usr/java
tar -zxvf jdk-8u161-linux-x64.tar.gz -C /usr/java
  1. 配置环境变量
    <font style="color:rgb(51, 51, 51);background-color:rgb(248, 248, 248);">/etc/profile</font>中添加以下内容,使JDK环境变量生效:
plain 复制代码
export JAVA_HOME=/usr/java/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin

运行以下命令使更改立即生效:

plain 复制代码
source /etc/profile
以上的 jdk 包与 系统镜像文件可以私信作者
相关推荐
计算机编程小央姐5 小时前
【Spark+Hive+hadoop】基于spark+hadoop基于大数据的人口普查收入数据分析与可视化系统
大数据·hadoop·数据挖掘·数据分析·spark·课程设计
计算机毕设残哥16 小时前
【Spark+Hive+hadoop】人类健康生活方式数据分析
大数据·hive·hadoop·python·数据分析·spark·dash
Lx35217 小时前
Hadoop批流一体化处理:实时与离线作业融合
大数据·hadoop
心止水j20 小时前
hive的安装
数据仓库·hive·hadoop
忘了ʷºᵇₐ21 小时前
在hadoop中Job提交的流程
java·hadoop
JiaWen技术圈1 天前
关于【机器人小脑】的快速入门介绍
单片机·嵌入式硬件·机器人·硬件架构
IT研究室1 天前
大数据毕业设计选题推荐-基于大数据的农产品交易数据分析与可视化系统-Spark-Hadoop-Bigdata
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata
Dobby_051 天前
【Hadoop】HBase:构建于HDFS之上的分布式列式NoSQL数据库
大数据·hadoop·分布式·hbase
大数据CLUB1 天前
基于hive和mapreduce的地铁数据分析及可视化
大数据·hive·hadoop·分布式·数据分析·mapreduce
想去的远方1 天前
hive调优系列-3.HQL语法和运行参数层面
大数据·数据仓库·hive·hadoop