Hive 在linux部署全流程

Hive是数据仓库绕不开的一个组件,这里记录下自己部署到linux所需要的命令和需要注意的问题。当然因为这是很久之前的笔记了,很多细节的操作可能没记录下。仅供参考。

1.下载安装包

官网下载地址:hive.apache.org/downloads.h...

要注意hive需要对应的版本的hadoop支持。

2.解压、重命名

需要将我们的安装包解压,当然重命名这步可选

csharp 复制代码
    [root@dave software]# tar -zxvf ./apache-hive-3.1.2-bin.tar.gz -C ./hive
    [root@dave hive]# mv apache-hive-3.1.2-bin/ hive-3.1.2

3.配置环境变量

我因为是自己用,直接在/etc/profile设置的系统变量。

bash 复制代码
    #HIVE_HOME
    export HIVE_HOME=/root/software/hive-3.1.2
    export PATH=${HIVE_HOME}/bin:$PATH

最后一定不要忘了,让你的变量生效。

csharp 复制代码
    [root@dave hive]# source /etc/profile

4.查看hive运行的日志:

ini 复制代码
    property.hive.log.level = INFO
    property.hive.root.logger = DRFA
    property.hive.log.dir = ${sys:java.io.tmpdir}/${sys:user.name}
    property.hive.log.file = hive.log
    property.hive.perflogger.log.level = INFO

从以上代码可以看到,日志位置在:/tmp/root

5.hive启动:

csharp 复制代码
[root@dave bin]# hive

这里我出现了启动报错:

css 复制代码
Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

这里就是因为我们没有元数据库metadata

6.hive初始化元数据库(metastore):

这里一般有两个可以选择,一个是derby

这个有bug,一般用于测试,因为他只有一个线程可以连接,不可能正常使用。

复制代码
schematool -dbType derby -initSchema

第二个就是最常用的mysql了。下面就是初始化步骤:

1.创建 hive-site.xml,填入

xml 复制代码
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://dave/myhive?createDatabaseIfNotExist=true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
</configuration>

上面的jdbc:mysql://dave/myhive?createDatabaseIfNotExist=true搞成你自己的mysql和对应的为hive创建的表。 root123456也记得换成你的mysql的用户名和密码

2.关联mysql driver jar:上传mysql-connector-java-5.1.27-bin.jar

我这里提供一个吧。找到mysql的文件夹,找那个jar包 链接:pan.baidu.com/s/1Rh00kYKM... 提取码:1024

bash 复制代码
    [root@dave lib]# pwd
    /root/software/hive/hive-3.1.2/lib
    [root@dave lib]# rz

在这个位置,上传这个jar包就行

3.初始化mysql:

复制代码
schematool -dbType mysql -initSchema

这时候在mysql其实就可以看见myhive了:

sql 复制代码
    [root@dave conf]# mysql -uroot -p123456
    
    mysql> show databases;
    +--------------------+
    | Database           |
    +--------------------+
    | information_schema |
    | myhive             |
    | mysql              |
    | performance_schema |
    | sys                |
    +--------------------+
    5 rows in set (0.00 sec)
    
    mysql>

然后我们再启动hive,也不再报错了:

相关推荐
0wioiw04 分钟前
Ubuntu基础(Python虚拟环境和Vue)
linux·python·ubuntu
史不了5 分钟前
无 sudo 运行:让你的程序在 Ubuntu 低端口监听
linux·运维·ubuntu
古希腊数通小白(ip在学)16 分钟前
HCIA实现不同vlan间的通信
linux·服务器·网络
半桔30 分钟前
【Linux手册】从接口到管理:Linux文件系统的核心操作指南
android·java·linux·开发语言·面试·系统架构
禁默38 分钟前
Linux Vim 编辑器详解:从入门到进阶(含图示+插件推荐)
linux·vim·excel
许白掰2 小时前
Linux入门篇学习——Linux 工具之 make 工具和 makefile 文件
linux·运维·服务器·前端·学习·编辑器
longze_76 小时前
Ubuntu连接不上网络问题(Network is unreachable)
linux·服务器·ubuntu
Dirschs6 小时前
【Ubuntu22.04安装ROS Noetic】
linux·ubuntu·ros
qianshanxue116 小时前
ubuntu 操作记录
linux
AmosTian9 小时前
【系统与工具】Linux——Linux简介、安装、简单使用
linux·运维·服务器