大数据项目实战(安装Hive)

一,搭建大数据集群环境

1.3 安装Hive

1.3.1 Hive的安装

1.安装MySQL服务

1)检查是否安装MySQL,如安装将其卸载。卸载命令

rpm -qa | grep mysql

2)搜索MySQL文件夹,如存在则删除

|--------------------------------------------------------------------------------------------------------------------------|
| find / -name mysql rm -rf /etc/selinux/targeted/active/modules/100/mysql rm -rf /usr/lib64/mysql rm -rf /usr/share/mysql |

3)安装MySQL。
①下载yum存储库(如遇网络问题下载不了,可通过离线安装MySQL)

百度网盘链接:https://pan.baidu.com/s/1AkJCiEuxdkG_t-PfumbQDQ?pwd=huan

提取码:huan

②安装

rpm -Uvh mysql80-community-release-el7-9.noarch.rpm

③安装mysql-community-server:

yum -y install mysql-community-server

4)修改密码
①启动mysql服务器:

systemctl start mysqld

②获取初始密码:

grep 'temporary password' /var/log/mysqld.log

③登录MySQL:

mysql -u root -p

④修改密码:

ALTER USER 'root'@'localhost' IDENTIFIED BY '初始密码';

注意:密码为8位数以上和种类至少大写+小写+符号+数字

⑤修改密码安全等级为LOW:

set global validate_password.policy=LOW;

⑥设置密码长度为6:

set global validate_password.length=6;

⑦ 修改密码:

ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';

5)设置MySQL允许远程登录
开启远程访问:

use mysql;

update user set host='%' where user='root';

6)重启MySQL服务:

systemctl restart mysqld

2.安装Hive

(1)上传安装包
(2)进行解压

tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /export/servers/

(3)修改配置文件
①修改hive安装路径

mv apache-hive-1.2.1-bin hive

②复制hive-env.sh文件

cp hive-env.sh.template hive-env.sh

③修改hive-env.sh文件(添加Hadoop环境变量)

vi hive-env.sh

④创建hive-site.xml文件并进行以下配置:

vi hive-site.xml

添加以下内容:

复制代码
<configuration>
<!--连接数据库地址,名称 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?
createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF8&amp;useSSL=false</value>
</property>
<!--连接数据库驱动 -->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!--连接数据库用户名称 -->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!--连接数据库用户密码 -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
</configuration>
⑤上传驱动包至lib目录:(根据MySQL版本自行下载驱动包即可,我的网盘里面有,有需要可以看一下)

版本可能会有限制,建议用mysql-connector-java-5.1.46.jar

⑥修改系统环境变量

vi /etc/profile,添加Hive环境

|------------------------------------------------------------------------|
| export HIVE_HOME=/export/servers/hive export PATH=PATH:HIVE_HOME/bin |

⑦启动hive:
相关推荐
makabalala16 小时前
如何利用YashanDB进行数据仓库构建
数据仓库
禅与计算机程序设计艺术16 小时前
了解NoSQL的数据仓库和ETL
数据库·数据仓库·nosql·etl
好学且牛逼的马1 天前
从“配置地狱“到“云原生时代“:Spring Boot 1.x到4.x演进全记录与核心知识点详解
hive·spring boot·云原生
派可数据BI可视化2 天前
一文读懂系列:数据仓库为什么分层,分几层?数仓建模方法有哪些
大数据·数据仓库·信息可视化·spark·商业智能bi
Light602 天前
不止于名:领码 SPARK 如何“链”动数据仓库、数据湖、中台与湖仓一体新纪元
大数据·数据仓库·数据湖·ipaas·湖仓一体·数据中台·领码 spark
郑小憨2 天前
FlinkSQL窗口函数TUMBLE、SESSION 和 HOP的区别
大数据·数据仓库·sql·flink·database
码字的字节2 天前
锚点模型:数据仓库中的高度可扩展建模技术详解
大数据·数据仓库·spark
Agentic AI人工智能与大数据2 天前
大数据领域数据仓库的ETL任务优化
大数据·数据仓库·ai·etl
AI架构全栈开发实战笔记2 天前
AI应用架构师教你:如何用AI自动化数据仓库的测试?
数据仓库·人工智能·ai·自动化