大数据项目实战(安装Hive)

一,搭建大数据集群环境

1.3 安装Hive

1.3.1 Hive的安装

1.安装MySQL服务

1)检查是否安装MySQL,如安装将其卸载。卸载命令

rpm -qa | grep mysql

2)搜索MySQL文件夹,如存在则删除

|--------------------------------------------------------------------------------------------------------------------------|
| find / -name mysql rm -rf /etc/selinux/targeted/active/modules/100/mysql rm -rf /usr/lib64/mysql rm -rf /usr/share/mysql |

3)安装MySQL。
①下载yum存储库(如遇网络问题下载不了,可通过离线安装MySQL)

百度网盘链接:https://pan.baidu.com/s/1AkJCiEuxdkG_t-PfumbQDQ?pwd=huan

提取码:huan

②安装

rpm -Uvh mysql80-community-release-el7-9.noarch.rpm

③安装mysql-community-server:

yum -y install mysql-community-server

4)修改密码
①启动mysql服务器:

systemctl start mysqld

②获取初始密码:

grep 'temporary password' /var/log/mysqld.log

③登录MySQL:

mysql -u root -p

④修改密码:

ALTER USER 'root'@'localhost' IDENTIFIED BY '初始密码';

注意:密码为8位数以上和种类至少大写+小写+符号+数字

⑤修改密码安全等级为LOW:

set global validate_password.policy=LOW;

⑥设置密码长度为6:

set global validate_password.length=6;

⑦ 修改密码:

ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';

5)设置MySQL允许远程登录
开启远程访问:

use mysql;

update user set host='%' where user='root';

6)重启MySQL服务:

systemctl restart mysqld

2.安装Hive

(1)上传安装包
(2)进行解压

tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /export/servers/

(3)修改配置文件
①修改hive安装路径

mv apache-hive-1.2.1-bin hive

②复制hive-env.sh文件

cp hive-env.sh.template hive-env.sh

③修改hive-env.sh文件(添加Hadoop环境变量)

vi hive-env.sh

④创建hive-site.xml文件并进行以下配置:

vi hive-site.xml

添加以下内容:

复制代码
<configuration>
<!--连接数据库地址,名称 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?
createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF8&amp;useSSL=false</value>
</property>
<!--连接数据库驱动 -->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!--连接数据库用户名称 -->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!--连接数据库用户密码 -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
</configuration>
⑤上传驱动包至lib目录:(根据MySQL版本自行下载驱动包即可,我的网盘里面有,有需要可以看一下)

版本可能会有限制,建议用mysql-connector-java-5.1.46.jar

⑥修改系统环境变量

vi /etc/profile,添加Hive环境

|------------------------------------------------------------------------|
| export HIVE_HOME=/export/servers/hive export PATH=PATH:HIVE_HOME/bin |

⑦启动hive:
相关推荐
qingwufeiyang_5304 小时前
IceBerg学习笔记2
数据仓库·数据湖
Q26433650235 小时前
【有i源码】基于大数据的城市交通流量与出行特征可视化分析平台-基于Hadoop的城市交通拥堵关联规则与异常检测研究
大数据·hadoop·机器学习·数据挖掘·数据分析·spark·数据可视化
kaoa0006 小时前
Linux入门攻坚——90、Hadoop-2-MapReduce计算框架及Hadoop生态系统概览
linux·hadoop·mapreduce
Gl�ria7 小时前
Hadoop 集群高可用节点分布
hadoop
计算机源码社8 小时前
基于Hadoop+Spark的商家优惠券营销效果数据分析与可视化-基于Python的商家优惠券营销效果检测与评估分析系统
大数据·hadoop·python·数据挖掘·spark·毕业设计·数据可视化
IT毕设梦工厂1 天前
计算机毕业设计选题推荐:基于大数据的草鱼价格分析与可视化|毕业设计选题|计算机毕设|选题推荐|毕设指导|项目定制|源码|高质量项目
大数据·hadoop·python·数据挖掘·数据分析·课程设计·大数据毕设项目
Gl�ria1 天前
Hive SQL 执行卡住完整排查 & 处理
hive·hadoop·sql
学代码的CJY2 天前
CJY 知识工作台:博客写作使用指南
数据仓库·知识图谱
Q26433650232 天前
【有源码】基于文本挖掘的消费者金融投诉主题发现与风险预警研究,基于Python的CFPB消费者投诉数据可视化分析系统
大数据·hadoop·机器学习·数据挖掘·spark·毕业设计·课程设计
喻师傅2 天前
Apache Hudi 概述:从 Parquet 更新难题到数据湖 Upsert
大数据·数据仓库·big data