CentOS7 服务器安装 Hadoop 和 Hive

CentOS 服务器安装 Hadoop 和 Hive流程

请将以下的路径更换为自己的路径

1. 环境准备

1.1 安装 JDK

Hadoop 和 Hive 需要 Java 运行环境,这里安装 OpenJDK 1.8:

bash 复制代码
# 查看 Java 版本
java -version

1.2 创建 Hadoop 用户(可选)

bash 复制代码
useradd hadoop
passwd hadoop

2. 安装 Hadoop

2.1 下载 Hadoop 3.3.6

bash 复制代码
wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

2.2 解压并移动到目标目录

bash 复制代码
tar -zxvf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 /opt/CJY/hadoop

2.3 配置环境变量

编辑 /etc/profile~/.bashrc,添加以下内容:

bash 复制代码
export HADOOP_HOME=/opt/CJY/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后执行:

bash 复制代码
source /etc/profile

2.4 修改 Hadoop 配置

进入 Hadoop 配置目录:

bash 复制代码
cd $HADOOP_HOME/etc/hadoop
2.4.1 修改 hadoop-env.sh
bash 复制代码
export JAVA_HOME=/usr  自己的javahome
2.4.2 配置 core-site.xml

自己的地址,localhost使用服务器的内网地址比如:10.9.6.8

xml 复制代码
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
2.4.3 配置 hdfs-site.xml
xml 复制代码
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

2.5 初始化 HDFS

bash 复制代码
hdfs namenode -format

2.6 启动 Hadoop

bash 复制代码
start-dfs.sh

访问 Web UI 进行验证:

  • NameNode WebUI: http://<服务器IP>:9870

3. 安装 Hive

3.1 下载 Hive 3.1.3

bash 复制代码
wget https://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz

3.2 解压并移动到目标目录

bash 复制代码
tar -zxvf apache-hive-3.1.3-bin.tar.gz
mv apache-hive-3.1.3-bin /opt/CJY/hive

3.3 配置环境变量

编辑 /etc/profile~/.bashrc,添加以下内容:

bash 复制代码
export HIVE_HOME=/opt/CJY/hive
export PATH=$PATH:$HIVE_HOME/bin
export HADOOP_HOME=/opt/CJY/hadoop

然后执行:

bash 复制代码
source /etc/profile

3.4 配置 Hive 使用 MySQL 作为元数据库

3.4.1 创建 Hive 元数据库和用户

也可以使用navicate手动创建

bash 复制代码
mysql -u root -p

在 MySQL 中执行:

sql 复制代码
CREATE DATABASE hive_metastore DEFAULT CHARACTER SET utf8;
CREATE USER 'hiveuser'@'localhost' IDENTIFIED BY 'hivepassword';
GRANT ALL PRIVILEGES ON hive_metastore.* TO 'hiveuser'@'localhost';
FLUSH PRIVILEGES;
EXIT;
3.4.2 安装 MySQL JDBC 驱动

从 MySQL 官方网站下载 mysql-connector-java-8.0.26.jar,或者从本地maven仓库拉一个。然后执行:

bash 复制代码
cp mysql-connector-java-8.0.26.jar /opt/CJY/hive/lib/
3.4.3 创建 hive-site.xml

在/opt/CJY/hive/conf目录下创建创建 hive-site.xml

bash 复制代码
cd /opt/CJY/hive/conf
vim hive-site.xml
xml 复制代码
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/hive_metastore?createDatabaseIfNotExist=true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.cj.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hiveuser</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>hivepassword</value>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/opt/CJY/hive/warehouse</value>
    </property>
</configuration>

3.5 初始化 Hive 元数据库

bash 复制代码
/opt/CJY/hive/bin/schematool -initSchema -dbType mysql -driver com.mysql.cj.jdbc.Driver

3.6 测试 Hive

bash 复制代码
/opt/CJY/hive/bin/hive

在 Hive CLI 中执行:

sql 复制代码
SHOW DATABASES;
CREATE TABLE test_table (id INT, name STRING);
INSERT INTO test_table VALUES (1, 'Spark');
SELECT * FROM test_table;

如果返回预期结果,说明 Hive 配置成功!

相关推荐
ん贤几秒前
GMP模型
运维·服务器·后端·golang
abbgogo2 分钟前
子域名收集和c段查询
运维·服务器·信息收集
杜子不疼.7 分钟前
Linux的生态与软件安装
linux·运维·服务器
哈基咩23 分钟前
Go语言unsafe包深度解析
服务器·开发语言·后端·golang
wanhengidc33 分钟前
服务器被网络攻击后该如何进行处理?
运维·服务器·网络
MickeyCV37 分钟前
MySQL数据库本地迁移到云端完整教程
服务器·数据库·mysql·oracle
什么蜜桃绵绵冰2 小时前
linux易错题
linux·运维·服务器
黄团团2 小时前
SpringBoot连接Sftp服务器实现文件上传/下载(亲测可用)
服务器·spring boot·github
嶔某2 小时前
网络:应用层
linux·服务器·网络·c++
南玖yy10 小时前
Linux 桌面市场份额突破 5%:开源生态的里程碑与未来启示
linux·运维·服务器·汇编·科技·开源·gradle