HiveServer2负载均衡

有多个HiveServer2服务时,可以借助Zookeeper服务实现访问HiveServer2的负载均衡,将HiveServer2的压力分担到多个节点上去。本文详细介绍HiveServer2负载均衡的配置及使用方法,请根据EMR集群(普通集群和Kerberos集群)的实际情况进行选择。

hive.server2.support.dynamic.service.discovery

设置为ture

在zooperker要创建相应的zooKeeperNamespace并赋权

复制代码
create /hiveserver2 world:anyone:cdrwa

还有一些其他的配置参数:

复制代码
编辑hive-site.xml

<property>
    <name>spark.deploy.recoveryMode</name>
    <value>ZOOKEEPER</value>
 </property-->
<!--设置hiveserve支持动态-->

<property>
	<name>hive.server2.support.dynamic.service.discovery</name>
	<value>true</value>
</property>

<!--设置hiveserver2的命名空间-->

<property>
<name>hive.server2.zookeeper.namespace</name>
<value>hiveserver2_zk</value>
</property>

<!--设置zk集群的客户端地址-->
<property>
<name>hive.zookeeper.quorum</name>
<value>node5:2181,node4:2181,node3:2181</value>
</property>

<!--指定zk的端口,这个是否可以去掉,因为上一步已经配置了端口,由于时间关系,我没有做测试,有兴趣可以测试一下-->
<property>
<name>hive.zookeeper.client.port</name>
<value>2181</value>
</property>

<!--指定hive.server2.thrift.bind.host-->
<property>
<name>hive.server2.thrift.bind.host</name>
<value>0.0.0.0</value>
</property>
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value> //两个HiveServer2实例的端口号要一致
</property>

重启hive服务

就可以去进行连接连接的测试

beeline -u 'jdbc:hive2://master-1-1:2181,master-1-2:2181,master-1-3:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2'

相关推荐
conkl12 分钟前
嵌入式 Linux 深度解析:架构、原理与工程实践(增强版)
linux·运维·服务器·架构·php·底层·堆栈
鹧鸪云光伏1 小时前
光伏运维数据透明化,发电量提高45%
运维·光伏·光伏设计·光伏模拟·光伏配储
AI视觉网奇2 小时前
whisper tokenizer
linux·运维·服务器
非极限码农2 小时前
Hive SQL (HQL) 编辑指南
hive·hadoop·sql
MX_93593 小时前
使用Nginx部署前端项目
运维·前端·nginx
srrsheng3 小时前
电商前端Nginx访问日志收集分析实战
运维·前端·nginx
m0_738120723 小时前
Solar月赛(应急响应)——攻击者使用什么漏洞获取了服务器的配置文件?
运维·服务器·安全·web安全·网络安全
咕噜签名分发冰淇淋3 小时前
应用app的服务器如何增加高并发
运维·服务器
爱喝水的鱼丶3 小时前
SAP-ABAP:SAP ABAP OpenSQL JOIN 操作权威指南高效关联多表数据
运维·开发语言·数据库·sap·abap
孙克旭_4 小时前
day064-kodbox接入对象存储与配置负载均衡
linux·运维·阿里云·负载均衡