Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行

章节内容

上一节我们完成了:

  • Metastore的基础概念
  • 配置模式:内嵌模式、本地模式、远程模式
  • 实机配置远程模式 并测试

背景介绍

这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。

之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在公网上搭建体验一下。

注意,如果你和我一样,打算用公网部署,那一定要做好防火墙策略,避免不必要的麻烦!!!

请大家都以学习为目的,也请不要对我的服务进行嗅探或者攻击!!!

但是有一台公网服务器我还运行着别的服务,比如前几天发的:autodl-keeper 自己写的小工具,防止AutoDL机器过期的。还跑着别的Web服务,所以只能挤出一台 2C2G 的机器。那我的配置如下了:

  • 2C4G 编号 h121
  • 2C4G 编号 h122
  • 2C2G 编号 h123

HiveServer2

HiveServer是一个服务端接口,使远程客户端可以执行对Hive的查询并返回结果。

HiveServer2(HS2)是一种允许客户端对Hive执行查询的服务。

  • 为Hive提供了一种允许客户端远程访问的服务
  • 基于thrift协议,支持跨平台,跨语言编程对Hive访问
  • 允许远程访问 Hive

实机配置

配置规划

修改core-site

需要修改 h121 h122 h123的 Hadoop 相关配置:

shell 复制代码
cd /opt/servers/hadoop-2.9.2/etc/hadoop
vim core-site.xml

增加如下的内容:

xml 复制代码
<!-- HiveServer2 连不上10000;hadoop为安装用户 -->
<!-- root用户可以代理所有主机上的所有用户 -->
<property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
</property>
<property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
</property>
<property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
</property>
<property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
</property>

修改 hdfs-site

shell 复制代码
cd /opt/servers/hadoop-2.9.2/etc/hadoop
vim hdfs-site.xml

增加如下内容:

xml 复制代码
<!-- HiveServer2 连不上10000;启用 webhdfs 服务 -->
<property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
</property>

配置如下:

启动服务

shell 复制代码
# 启动 hiveserver2 服务
nohup hiveserver2 &
# 检查 hiveserver2 端口
lsof -i:10000

此时访问 Web 页面:

shell 复制代码
h121.wzk.icu:10002

Beeline

在 h122 节点上启动 beeline

shell 复制代码
beeline

连接测试

使用指令进行连接

shell 复制代码
!connect jdbc:hive2://h121.wzk.icu:10000

连接过程中,需要输入账号密码(你的 ROOT账号和密码)

测试命令

sql 复制代码
show databases;
!help
!quit

HCatalog

HCatalog 使用了Hive的元数据存储,这样就使MapReduce这种第三方可以通过Hive进行数据的读取,同时HCatalog还支持用户子啊MapReduce程序中只读取需要的分区表和字段,而不需要读取整个表,只提供一种逻辑上的视图来读取数据。

测试运行:

shell 复制代码
cd $HIVE_HOME/hcatalog/bin

创建表测试:

shell 复制代码
./hcat -e "create table default.test1(id string, name string,
age int)"
相关推荐
superlls5 小时前
(算法 哈希表)【LeetCode 349】两个数组的交集 思路笔记自留
java·数据结构·算法
田里的水稻5 小时前
C++_队列编码实例,从末端添加对象,同时把头部的对象剔除掉,中的队列长度为设置长度NUM_OBJ
java·c++·算法
ponnylv5 小时前
深入剖析Spring Boot启动流程
java·开发语言·spring boot·spring
前行的小黑炭6 小时前
Android 协程的使用:结合一个环境噪音检查功能的例子来玩玩
android·java·kotlin
打码人的日常分享6 小时前
运维服务方案,运维巡检方案,运维安全保障方案文件
大数据·运维·安全·word·安全架构
李少兄6 小时前
解决IntelliJ IDEA 提交代码时无复选框问题
java·ide·intellij-idea
cyforkk6 小时前
Spring Boot @RestController 注解详解
java·spring boot·后端
hzulwy6 小时前
Kafka基础理论
分布式·kafka
半夏陌离7 小时前
SQL 拓展指南:不同数据库差异对比(MySQL/Oracle/SQL Server 基础区别)
大数据·数据库·sql·mysql·oracle·数据库架构
叫我阿柒啊7 小时前
从Java全栈到前端框架:一次真实面试的深度复盘
java·spring boot·typescript·vue·database·testing·microservices