Ubuntu下部署Hadoop集群+Hive(三)

Hive部署

准备环境

apache-hive-4.0.0-bin.tar.gz、mysql-connector-j-8.1.0.jar

如果是离线安装的话,使用mysql-8.0.34-1.el7.x86_64.rpm-bundle.tar,在线安装的话则不用;

hive下载地址:Index of /hive (apache.org)

mysql connector下载地址:MySQL :: Download Connector/J

mysql下载地址:MySQL :: Download MySQL Community Server (Archived Versions)

只需要在主节点服务器上安装即可;

安装步骤参照:Hive 部署_hive部署-CSDN博客

对应的视频课程参照:尚硅谷大数据Hive 3.x教程全新升级版(基于hive3.1.3)_哔哩哔哩_bilibili

几点注意事项:

1.我选择的是hive4.0版本,后续章节我将介绍如何将hive计算引擎更换为Tez,使用hive3.X版本,不管我使用 tez0.10.X版本还是0.09版本,都会出现相关库找不到的情况,后来更换为hive4.0+tez0.10.3版本后就对了;

2.mysql的安装,分为离线安装和在线安装,安装完成后,要让mysql支持远程访问,需要操作以下步骤:

(1) 打开mysql配置文件

复制代码
/etc/mysql/mysql.conf.d# vi mysqld.cnf

(2)将这个地方注释,保存;

(3)需要让对外访问的用户,host属性配置为%,plugin属性配置为 mysql_native_password,比如我配置的是root用户,如下图所示:

配置方法:

进入到mysql命令行界面:

bash 复制代码
mysql> use mysql;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
bash 复制代码
mysql> update mysql.user set host='%', plugin='mysql_native_password' where user='root' and host='localhost';

执行成功后,再执行flush privileges;退出。

到此,Hadoop集群 + Hive部署就已经完成,可以使用DBeaver软件连接Hive数据库进行访问操作,但是有一个问题,因为Hadoop默认计算引擎是MapReduce,运行会比较慢,我的是3台实体服务器,执行增删查改感觉都很慢,下一章,我将在此基础上进行优化,把计算引擎更换为Tez。

相关推荐
Web极客码43 分钟前
在Ubuntu 20.04的服务器上查找的服务器的IP地址
服务器·tcp/ip·ubuntu
XueminXu1 小时前
Hive使用Tez引擎出现OOM的解决方法
hive·oom·tez·datagrip·container·outofmemory
FL16238631292 小时前
[ubuntu][C++]onnxruntime安装cpu版本后测试代码
linux·c++·ubuntu
逻辑羊驼2 小时前
VSCode+MobaXterm+X11可视化界面本地显示
运维·服务器·ubuntu·3d
云的牧人6 小时前
Ubuntu 22 redis集群搭建
linux·运维·ubuntu
小猪写代码7 小时前
Ubuntu 文件权限管理
linux·ubuntu
zzu123zsw8 小时前
01-Hadoop简介与生态系统
hadoop
鸿儒之观8 小时前
hadoop 框架 jar下载
大数据·hadoop·jar
2302_799525748 小时前
【Hadoop】Hadoop集群安装中出现的问题
linux·hadoop
jzzy_hony9 小时前
移植Qt4.8.7到ARM40-A5
qt·ubuntu·arm·终端