Ubuntu下部署Hadoop集群+Hive(三)

Hive部署

准备环境

apache-hive-4.0.0-bin.tar.gz、mysql-connector-j-8.1.0.jar

如果是离线安装的话,使用mysql-8.0.34-1.el7.x86_64.rpm-bundle.tar,在线安装的话则不用;

hive下载地址:Index of /hive (apache.org)

mysql connector下载地址:MySQL :: Download Connector/J

mysql下载地址:MySQL :: Download MySQL Community Server (Archived Versions)

只需要在主节点服务器上安装即可;

安装步骤参照:Hive 部署_hive部署-CSDN博客

对应的视频课程参照:尚硅谷大数据Hive 3.x教程全新升级版(基于hive3.1.3)_哔哩哔哩_bilibili

几点注意事项:

1.我选择的是hive4.0版本,后续章节我将介绍如何将hive计算引擎更换为Tez,使用hive3.X版本,不管我使用 tez0.10.X版本还是0.09版本,都会出现相关库找不到的情况,后来更换为hive4.0+tez0.10.3版本后就对了;

2.mysql的安装,分为离线安装和在线安装,安装完成后,要让mysql支持远程访问,需要操作以下步骤:

(1) 打开mysql配置文件

复制代码
/etc/mysql/mysql.conf.d# vi mysqld.cnf

(2)将这个地方注释,保存;

(3)需要让对外访问的用户,host属性配置为%,plugin属性配置为 mysql_native_password,比如我配置的是root用户,如下图所示:

配置方法:

进入到mysql命令行界面:

bash 复制代码
mysql> use mysql;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
bash 复制代码
mysql> update mysql.user set host='%', plugin='mysql_native_password' where user='root' and host='localhost';

执行成功后,再执行flush privileges;退出。

到此,Hadoop集群 + Hive部署就已经完成,可以使用DBeaver软件连接Hive数据库进行访问操作,但是有一个问题,因为Hadoop默认计算引擎是MapReduce,运行会比较慢,我的是3台实体服务器,执行增删查改感觉都很慢,下一章,我将在此基础上进行优化,把计算引擎更换为Tez。

相关推荐
一张假钞5 小时前
Ubuntu SSH 免密码登陆
linux·ubuntu·ssh
starfalling10249 小时前
【hive】一种高效增量表的实现
hive
sulikey9 小时前
【Linux权限机制深入理解】为何没有目录写权限仍能修改文件权限?
linux·运维·笔记·ubuntu·centos
lihongli00010 小时前
修改ros工作空间名称方法与步骤
ubuntu·ros
顧棟11 小时前
【Yarn实战】Yarn 2.9.1滚动升级到3.4.1调研与实践验证
hadoop·yarn
江公望11 小时前
ubuntu kylin(优麒麟)和标准ubuntu的区别浅谈
linux·服务器·ubuntu·kylin
mucheni12 小时前
迅为RK3588开发板Ubuntu 系统开发ubuntu终端密码登录
linux·运维·ubuntu
木欣欣粉皮13 小时前
Ubuntu使用图片
linux·ubuntu
D明明就是我13 小时前
Hive 拉链表
数据仓库·hive·hadoop
嘉禾望岗50317 小时前
hive join优化和数据倾斜处理
数据仓库·hive·hadoop