hive架构与安装

前言

想与你们共同学习,想与你们一起努力,想得到你们的支持与喜欢~

一、Hive 引言

hive是facebook开源,并捐献给了apache组织,作为apache组织的顶级项目(hive.apache.org)。 hive是一个基于大数据技术的数据仓库(DataWareHouse)技术,主要是通过将用户(程序员)书写的SQL语句翻译成MapReduce代码,然后发布任务给Yarn执行,完成SQL 到 MapReduce的转换。可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。

【总结】

  • Hive是一个数据仓库

  • Hive构建在HDFS上,可以存储海量数据。

  • Hive允许程序员使用SQL命令来完成数据的分布式计算,计算构建在yarn之上。(Hive会将SQL转化为MR操作)

  • Hive不适合场景: 小数据量 实时计算

  • 数据库 DataBase

    • 数据量级小,数据价值高
  • 数据仓库 DataWareHouse

    • 数据体量大,数据价值密度低

二、Hive 的架构

1. 简介

复制代码
HDFS:用来存储hive仓库的数据文件
yarn:用来完成hive的HQL转化的MR程序的执行
MetaStore:保存管理hive维护的元数据
Hive:用来通过HQL的执行,转化为MapReduce程序的执行,从而对HDFS集群中的数据文件进行统计。

2. 图

三、Hive的安装

复制代码
# 步骤
1. HDFS
2. Yarn
3. MySQL
4. Hive

1. 安装mysql数据库

复制代码
mysql已经安装好,但没有启动,可以执行下面的语句:
systemctl enable mysqld
systemctl start mysqld
systemctl status mysqld
最后测试是否可用:
mysql -uroot -p123456

2. 安装Hadoop

复制代码
# 配置hdfs和yarn的配置信息

修改hadoop下的core-site.xml文件
<!-- 配置权限,hive访问hdfs的权限开启 -->
<property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
</property>
<property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
</property>

3. 安装hive

1 上传hive安装包到linux中

2 解压缩hive

复制代码
[root@hadoop ~]# tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/installs
[root@hadoop ~]# mv apache-hive-3.1.2-bin hive3.1.2

3 配置环境变量

复制代码
export HIVE_HOME=/opt/installs/hive3.1.2
export PATH=$PATH:$HIVE_HOME/bin

4 加载系统配置生效

复制代码
[root@hadoop ~]# source /etc/profile

5 配置hive

hive-env.sh

复制代码
# 拷贝一个hive-env.sh
[root@hadoop10 conf]# mv hive-env.sh.template hive-env.sh
# 配置hadoop目录
HADOOP_HOME=/opt/installs/hadoop3.1.4/
# 指定hive的配置文件目录
export HIVE_CONF_DIR=/opt/installs/hive3.1.2/conf/

hive-site.xml

复制代码
拷贝得到hive-site.xml
[root@hadoop10 conf]# cp hive-default.xml.template hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!--hive的元数据保存在mysql中,需要连接mysql,这里配置访问mysql的信息-->
    <!--url:这里必须用ip-->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop10:3306/hive?useSSL=false</value>
    </property>
    <!--drivername-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.cj.jdbc.Driver</value>
    </property>
    <!--username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!--password-->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    
    <!-- 显示表的列名 -->
    <property>
            <name>hive.cli.print.header</name>
            <value>true</value>
    </property>
    
    <!-- 显示数据库名称 -->
    <property>
            <name>hive.cli.print.current.db</name>
            <value>true</value>
    </property>
    
    <!-- 解决启动等一分钟重试问题 -->
    <property>
            <name>hive.server2.active.passive.ha.enable</name>
            <value>true</value>
    </property>
    
</configuration>

登录mysql创建hive数据库

复制代码
create database hive

复制mysql驱动Jar到hive的lib目录下

6 修改jar,防止jar包冲突

复制代码
#将/opt/installs/hive3.1.2/lib下的guava-19.0.jar修改为guava-19.0.jar.bak
#jar包带上bak,jvm将不进行加载,相当于删除
cd /opt/installs/hive3.1.2/lib
mv guava-19.0.jar guava-19.0.jar.bak
#将hadoop下的guava-27.0-jre.jar 复制到hive的lib下
cp /opt/installs/hadoop3.1.4/share/hadoop/common/lib/guava-27.0-jre.jar /opt/installs/hive3.1.2/lib

#将/opt/installs/hive3.1.2/lib下的log4j-slf4j-impl-2.10.0.jar修改带上.bak
mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak

四、 启动

1. 启动 hadoop

复制代码
# 启动HDFS
start-dfs.sh
# 启动yarn
start-yarn.sh

2. 初始化元数据

复制代码
初始化元数据:schematool -dbType mysql -initSchema

3. hive本地启动

复制代码
# 本地模式启动 【管理员模式】
# 启动hive服务器,同时进入hive的客户端。只能通过本地方式访问。
[root@hadoop10 ~]# hive
hive>

# 1. 查看数据库
        hive> show databases;
# 2. 创建一个数据库
        hive> create database test_hive;
# 3. 查看database 
        hive> show databases;
# 4. 切换进入数据库
        hive> use test_hive;
# 5.查看所有表
        hive> show tables;
# 6.创建一个表
        hive> create table t_user(id string,name string,age int);
# 7. 添加一条数据(转化为MR执行--不让用,仅供测试)
        hive> insert into t_user values('1001','zhangsan',20);
# 8.查看表结构
        hive> desc t_user;
# 9.查看表的schema描述信息。(表元数据,描述信息)
        hive> show create table t_user;
        # 明确看到,该表的数据存放在hdfs中。
# 10 .查看数据库结构
        hive> desc database test_hive;
# 11.查看当前库
        hive> select current_database();
# 12 其他sql
    select * from t_user;
    select count(*) from t_user; (Hive会启动MapReduce)

4.hive的客户端和服务端

复制代码
# 启动hive的服务器,可以允许远程连接方式访问。
// 前台启动
[root@hadoop10 ~]# hiveserver2 
// 后台启动
[root@hadoop10 ~]# hiveserver2 &

beeline客户端

复制代码
# 启动客户端
[root@hadoop10 ~]# beeline
beeline>!connect jdbc:hive2://hadoop10:10000
相关推荐
強云2 小时前
界面架构- MVP(Qt)
qt·架构
赋创小助手13 小时前
Gartner预计2025年AI支出达6440亿美元:数据中心与服务器市场的关键驱动与挑战
运维·服务器·人工智能·科技·架构
magic 24513 小时前
MVC(Model-View-Controller)架构模式和三层架构介绍
架构·mvc
芯片SIPI设计14 小时前
HBM(高带宽内存)DRAM技术与架构
架构
拉丁解牛说技术14 小时前
AI大模型进阶系列(01)AI大模型的主流技术 | AI对普通人的本质影响是什么?
后端·架构·openai
r0ad14 小时前
文生图架构设计原来如此简单之交互流程优化
架构·aigc
热爱运维的小七14 小时前
从数据透视到AI分析,用四层架构解决运维难题
运维·人工智能·架构
桂月二二15 小时前
实时事件流处理架构的容错设计
架构·wpf
一个天蝎座 白勺 程序猿16 小时前
大数据(4.5)Hive聚合函数深度解析:从基础统计到多维聚合的12个生产级技巧
大数据·hive·hadoop