大数据项目实战(安装Hive)

一,搭建大数据集群环境

1.3 安装Hive

1.3.1 Hive的安装

1.安装MySQL服务

1)检查是否安装MySQL,如安装将其卸载。卸载命令

rpm -qa | grep mysql

2)搜索MySQL文件夹,如存在则删除

|--------------------------------------------------------------------------------------------------------------------------|
| find / -name mysql rm -rf /etc/selinux/targeted/active/modules/100/mysql rm -rf /usr/lib64/mysql rm -rf /usr/share/mysql |

3)安装MySQL。
①下载yum存储库(如遇网络问题下载不了,可通过离线安装MySQL)

百度网盘链接:https://pan.baidu.com/s/1AkJCiEuxdkG_t-PfumbQDQ?pwd=huan

提取码:huan

②安装

rpm -Uvh mysql80-community-release-el7-9.noarch.rpm

③安装mysql-community-server:

yum -y install mysql-community-server

4)修改密码
①启动mysql服务器:

systemctl start mysqld

②获取初始密码:

grep 'temporary password' /var/log/mysqld.log

③登录MySQL:

mysql -u root -p

④修改密码:

ALTER USER 'root'@'localhost' IDENTIFIED BY '初始密码';

注意:密码为8位数以上和种类至少大写+小写+符号+数字

⑤修改密码安全等级为LOW:

set global validate_password.policy=LOW;

⑥设置密码长度为6:

set global validate_password.length=6;

⑦ 修改密码:

ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';

5)设置MySQL允许远程登录
开启远程访问:

use mysql;

update user set host='%' where user='root';

6)重启MySQL服务:

systemctl restart mysqld

2.安装Hive

(1)上传安装包
(2)进行解压

tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /export/servers/

(3)修改配置文件
①修改hive安装路径

mv apache-hive-1.2.1-bin hive

②复制hive-env.sh文件

cp hive-env.sh.template hive-env.sh

③修改hive-env.sh文件(添加Hadoop环境变量)

vi hive-env.sh

④创建hive-site.xml文件并进行以下配置:

vi hive-site.xml

添加以下内容:

复制代码
<configuration>
<!--连接数据库地址,名称 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?
createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF8&amp;useSSL=false</value>
</property>
<!--连接数据库驱动 -->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!--连接数据库用户名称 -->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!--连接数据库用户密码 -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
</configuration>
⑤上传驱动包至lib目录:(根据MySQL版本自行下载驱动包即可,我的网盘里面有,有需要可以看一下)

版本可能会有限制,建议用mysql-connector-java-5.1.46.jar

⑥修改系统环境变量

vi /etc/profile,添加Hive环境

|------------------------------------------------------------------------|
| export HIVE_HOME=/export/servers/hive export PATH=PATH:HIVE_HOME/bin |

⑦启动hive:
相关推荐
Q26433650232 小时前
【有源码】基于XGBoost的安卓应用市场数据分析与评分预测系统-面向应用市场的安卓App评分回归预测方法研究
大数据·hadoop·数据挖掘·数据分析·回归·spark·毕业设计
IT毕设梦工厂3 小时前
计算机毕业设计选题推荐:基于大数据的培训机构信息分析与可视化|毕业设计选题|计算机毕设|选题推荐|毕设指导|项目定制|源码|高质量项目
大数据·hadoop·mysql·数据挖掘·数据分析·spark·课程设计
IT毕设梦工厂21 小时前
计算机毕业设计选题推荐:基于大数据的杭州亚运会社交媒体互动数据可视化分析|毕业设计选题|计算机毕设|选题推荐|毕设指导|项目定制|源码|高质量项目
大数据·hadoop·信息可视化·数据挖掘·数据分析·课程设计·数据分析数据可视化
CarIise1 天前
Spring Boot整合MyBatis与文件上传:从分层架构到文件上传下载实战
数据仓库·hive·hadoop
计算机源码社1 天前
【27届大数据毕设】基于Spark的TikTok短视频属性分享与互动比率可视化分析系统 基于机器学习的TikTok短视频认证属性与互动效能关联分析
大数据·hadoop·python·机器学习·spark·毕业设计·课程设计
ha_lydms2 天前
MaxCompute中加密与解密函数
大数据·数据库·数据仓库·hadoop·dataworks·maxcompute·odps
Q26433650232 天前
【有源码】基于Spark的电商客户细分与盈利洞察分析系统-面向精准营销的电商客户细分模型构建与盈利能力可视化研究
大数据·hadoop·分布式·数据挖掘·数据分析·spark·毕业设计
计算机源码社2 天前
【27届大数据毕设】基于Spark的AI艺术创作者价值评估与市场趋势预测研究 基于Python与Spark的AI生成艺术受众画像及异常热度识别可视化平台
大数据·人工智能·hadoop·python·spark·毕业设计·课程设计
千桐科技3 天前
数据中台 ETL 编排实践:基于 qData 开源版实现数据接入、转换与调度执行
数据仓库·开源·etl
ha_lydms3 天前
MaxCompute中窗口函数
大数据·hadoop·阿里云·云计算·dataworks·maxcompute·odps