物理机搭建hive

一、修改Hadoop配置

  1. 修改core-site.xml

  2. 配置yarn-site.xml

  3. 分发文件,然后重启集群

二、 Hive解压安装

  1. 上传文件

  2. 添加hive环境便量,source生效

  3. 启动高可用集群,启动hive

三、配置mysql元数据库

  1. 检查当前系统是否安装过Mysql,如果存在就是用下列命令移除,如果不存在则忽略。(一定要做这一步)

  2. 将MySQL安装包上传到/opt/software目录下,解压MySQL安装包资源到/opt/software 下新创建的mysqljars目录

  3. 在/opt/software/mysql_jars目录下执行rpm安装,严格按照如下顺序执行

  4. 初始化数据库(这个是mysql数据库安装后的初始化),会创建mysql内部数据库和表。

    初始化前删除**/var/lib/mysql**目录下的所有内容:

    初始化

    注意:初始化遇到下面的问题说明,文件没删除,使用root用户去删干净

  5. 初始化完成后,查看临时生成的root用户的密码,也是首次登录msql的密码;启动mysql

    注意:如果启动出现下面报错,重启下mysql


  6. 修改密码,修改mysql库下的user表中的root用户允许任意ip连接并刷新,使得修改生效

  7. 配置Hive元数据库为MySql,配置Metastore到MySql

    拷贝驱动

    配置Metastore到MySql,在/opt/module/hive/conf目录下新建hive-site.xml文件(新建的配置文件中的配置会覆盖默认配置)

    javax.jdo.option.ConnectionURL jdbc:mysql://hadoop102:3306/metastore?useSSL=false javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName root javax.jdo.option.ConnectionPassword 123456 hive.metastore.warehouse.dir /user/hive/warehouse hive.metastore.schema.verification false hive.metastore.event.db.notification.api.auth false
  8. 登陆MySQL,新建Hive元数据库,初始化Hive元数据库,启动Hive


三、将Mysql做为元数据库,部署元数据服务

  1. 将hive的元数据库配置为Mysql,在hive-site.xml文件中添加如下配置信息,启动元数据服务和hive


注意:在配置了此参数后,启动hive之前必须先启动元数据服务,否则,hive启动后无法连接到元数据服务

  1. 开启Hiveserver2,在hive-site.xml文件中添加如下配置信息
  2. 重启MetaStore服务 ,启动hive服务(这里需要考虑元数据的访问方式,如何使用元数据服务的模式,需要提前开启元数据服务),启动beeline客户端(需要多等待一会,否则会报错连不上)

注意:先启动元数据服务 在启动hs2,再用工具(idea)连接hive;


相关推荐
计算机编程-吉哥16 小时前
基于机器学习的城市交通拥堵分析与预测平台【计算机毕业设计选题·机器学习·随机森林算法】
hadoop·算法·随机森林·机器学习·课程设计·计算机毕业设计选题·大数据毕业设计选题推荐
fastjson_16 小时前
Hive3.1.3 安装使用
hive
计算机源码社17 小时前
基于Hadoop+Spark的黄金市场历史数据特征分析与可视化大屏 基于K-Means聚类算法的黄金历史价格阶段划分研究
大数据·hadoop·python·数据挖掘·数据分析·spark·毕业设计
2601_962300811 天前
机器学习贴士:使用Python编写MapReduce
hadoop·python·机器学习·mapreduce·数据处理
爱吃火鸡面呀1 天前
HDFS 架构深度解析:从核心组件到数据读写全流程
hadoop·hdfs·架构
宽海智能仓储物流1 天前
航发自动化立体库异构系统改造:宽海智能30天联调技术全解析
运维·数据仓库·自动化
m0_547486662 天前
《大数据技术与应用:Hadoop和PySpark实现》全套PPT课件2026
大数据·hadoop
IT毕设梦工厂2 天前
计算机毕业设计选题推荐:基于大数据的印度上市公司财务指标数据可视化分析|毕业设计选题|计算机毕设|选题推荐|毕设指导|项目定制|源码|高质量项目
大数据·hadoop·python·信息可视化·spark·课程设计·大数据毕设项目
爱吃火鸡面呀3 天前
HDFS 文件读取流程深度解析:从客户端请求到数据落地的完整链路
大数据·hadoop·hdfs
程序员小羊!3 天前
医疗数据仓库ODS层敏感信息防护实战:7大关键策略
数据仓库