配置Hive元数据存储到MySQL


文章目录

配置Hive元数据存储到MySQL

背景介绍

在安装完Hive之后,需要将Hive的元数据写入到MySQL的metastore数据库。

如果说MySQL中缺乏了关于Hive的相关配置,Hive是无法正常启动和运行的。

如果说MySQL进行重装,则需要对Hive服务进行重新的配置。

配置步骤
1) 在MySQL中新建 Hive 元数据库
bash 复制代码
#登录MySQL
[atguigu@hadoop102 software]$ mysql -uroot -p123456

#创建Hive元数据库
mysql> create database metastore;
mysql> quit;
2) 将MySQL的JDBC驱动拷贝到Hive的lib目录下
bash 复制代码
cp /opt/download/mysql-connector-j-8.0.33.jar lib/
3) 更新guava包和hadoop一致
bash 复制代码
ls lib/|grep guava
# guava-19.0.jar
rm -f lib/guava-19.0.jar
find /opt/software/hadoop313/ -name guava*
#/opt/software/hadoop313/share/hadoop/common/lib/guava-27.0-jre.jar
#/opt/software/hadoop313/share/hadoop/hdfs/lib/guava-27.0-jre.jar
cp /opt/software/hadoop313/share/hadoop/hdfs/lib/guava-27.0-jre.jar lib/
4) 在$HIVE_HOME/conf目录下新建hive-site.xml文件
bash 复制代码
[atguigu@hadoop102 software]$ vim $HIVE_HOME/conf/hive-site.xml
添加如下内容:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- jdbc连接的URL -->
     <property>
        <name>javax.jdo.option.ConnectionURL</name>mysql
        <value>jdbc:mysql://localhost:3306/hive312?createDatabaseIfNotExist=true</value>
	</property>
    
    <!-- jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.cj.jdbc.Driver</value>
    </property>
    
	<!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>

    <!-- Hive默认在HDFS的工作目录 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/hive312/warehouse</value>
    </property>
</configuration>
5) 初始化Hive元数据库(修改为采用MySQL存储元数据)

在初始化之前,需要先到MySQL数据库下查看数据库列表中是否存在hive312数据库,如果存在先删掉,否则会导致元数据库的创建过程失败。

bash 复制代码
schematool -dbType mysql -initSchema -verbose
6) 验证是否成功配置
bash 复制代码
#首先启动元数据服务
nohup hive --service metastore 1>/dev/null 2>&1 &

#1、方法一 hive客户端
hive
#2、方法二 基于metastore和hiveserver2的beeline
#启动hiveserver2服务
nohup hive --service hiveserver2 1>/dev/null 2>&1 &
beeline -u jdbc:hive2://single01:10000
相关推荐
Decay__7 小时前
PostgreSQL 数据库全栈运维实战系列 — 合集索引(24 篇)
运维·数据库·sql·mysql·架构
田超凡8 小时前
深入理解MySQL_经典问题总结2
mysql·java-ee
FungLeo10 小时前
FengCMS · PHP+MySQL 升级实录 · 危险默认值之殇:root/123456、认证码 8888 写进配置加载器
android·mysql·php·安全加固·fengcms
ZhengEnCi12 小时前
覆盖索引怎么设计:从回表代价到 MySQL 与 PostgreSQL 的落地写法
sql·mysql·postgresql
FungLeo14 小时前
FengCMS · PHP+MySQL升级实录 ·并发一致性连环坑:模板缓存、排队保存、备份恢复的竞态
mysql·缓存·php·工程实践·fengcms
FungLeo16 小时前
FengCMS · PHP+MySQL 升级实录·模型导入从“加密 SQL 码“到.fengmodel.json
sql·mysql·php·工程实践·fengcms
正在走向自律16 小时前
MySQL兼容性深度实践:建表、增删改查与迁移避坑全记录
数据库·sql·mysql·信创·数据库迁移
用户793842810660817 小时前
城市租房 EDA 实战|从脏数据清洗到 MySQL 入库
mysql
Decay__17 小时前
PostgreSQL 体系架构全解 —— 进程模型、共享内存、MVCC 与 WAL 预写日志深入
运维·数据库·sql·mysql·架构
starzy199018 小时前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
大数据·hadoop·hdfs