Ubuntu下部署Hadoop集群+Hive（三）

岩屿2024-08-25 3:04

Hive部署

准备环境

apache-hive-4.0.0-bin.tar.gz、mysql-connector-j-8.1.0.jar

如果是离线安装的话，使用mysql-8.0.34-1.el7.x86_64.rpm-bundle.tar，在线安装的话则不用；

hive下载地址：Index of /hive (apache.org)

mysql connector下载地址：MySQL :: Download Connector/J

mysql下载地址：MySQL :: Download MySQL Community Server (Archived Versions)

只需要在主节点服务器上安装即可；

安装步骤参照：Hive 部署_hive部署-CSDN博客

对应的视频课程参照：尚硅谷大数据Hive 3.x教程全新升级版（基于hive3.1.3）_哔哩哔哩_bilibili

几点注意事项：

1.我选择的是hive4.0版本，后续章节我将介绍如何将hive计算引擎更换为Tez，使用hive3.X版本，不管我使用 tez0.10.X版本还是0.09版本，都会出现相关库找不到的情况，后来更换为hive4.0+tez0.10.3版本后就对了；

2.mysql的安装，分为离线安装和在线安装，安装完成后，要让mysql支持远程访问，需要操作以下步骤：

（1）打开mysql配置文件

复制代码

/etc/mysql/mysql.conf.d# vi mysqld.cnf

（2）将这个地方注释，保存；

（3）需要让对外访问的用户，host属性配置为%，plugin属性配置为 mysql_native_password，比如我配置的是root用户，如下图所示：

配置方法：

进入到mysql命令行界面：

bash 复制代码

mysql> use mysql;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed

bash 复制代码

mysql> update mysql.user set host='%', plugin='mysql_native_password' where user='root' and host='localhost';

执行成功后，再执行flush privileges;退出。

到此，Hadoop集群 + Hive部署就已经完成，可以使用DBeaver软件连接Hive数据库进行访问操作，但是有一个问题，因为Hadoop默认计算引擎是MapReduce，运行会比较慢，我的是3台实体服务器，执行增删查改感觉都很慢，下一章，我将在此基础上进行优化，把计算引擎更换为Tez。