hs2偶发连接失败问题处理

hiveserver2.log 日志报错:

026-10-09T08:02:35,471 INFO HiveServer2-Background-Pool: Thread-5733502: metastore.RetryingMetaStoreClient (😦)) - RetryingMetaStoreClient proxy=class org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient ugi=wf_bpit_30 (auth:PROXY) via hive/wf-gd2-bpit-dp-nn-17-71@GOERTEK.COM (auth:KERBEROS) retries=24 delay=5 lifetime=0

2026-10-09T08:02:35,472 ERROR HiveServer2-Handler-Pool: Thread-5732992: metadata.Hive (😦)) - MetaException(message:org.apache.hadoop.hive.metastore.security.DelegationTokenStore$TokenStoreException: Error creating new node with path /hive/cluster/delegationMETASTORE/tokens/AAt3Zl9icGl0X2dwcwt3Zl9icGl0X2dwcyhoaXZlL3dmLWdkMi1icGl0LWRwLW5uLTE3LTcxQEdPRVJURUsuQ09NigGhHffk3IoBoUIEaNyNB02QjgpH)

zk 客户端执行报错:

ls /hive/cluster/delegationMETASTORE/tokens

2026-10-09 09:09:37,589 myid:wf-gd2-bpit-dp-nn-17-70:2181 - WARN main-SendThread(wf-gd2-bpit-dp-nn-17-70:2181)😮.a.z.ClientCnxn$SendThread@1302 - Session 0x20816154f96fa80 for server wf-gd2-bpit-dp-nn-17-70/10.11.17.70:2181, Closing socket connection. Attempting reconnect except it is a SessionExpiredException or SessionTimeoutException.

java.io.IOException: Packet len 116690678 is out of range!

处理方案:

1、修改Hive配置,轮询重启服务

ZooKeeper 节点路径拼接错误(缺少斜杠)

日志中的路径 /hive/cluster/delegationMETASTORE/tokens 存在明显的拼接错误,delegation 和 METASTORE 之间缺少斜杠。

已知的 Hive 配置问题(HIVE-15005)。当 hive.cluster.delegation.token.store.zookeeper.znode 配置项的值(例如 /hive/cluster/delegation)末尾没有斜杠时,Hive 在拼接 METASTORE 或 HIVESERVER2 等子目录时,就会生成上述错误路径!

修正 znode 路径配置(防止复发)在 hive-site.xml 中,确保路径末尾有斜杠:

hive.cluster.delegation.token.store.zookeeper.znode

/hive/cluster/delegation/

修改后重启 Metastore 和 HiveServer2。

2、清理膨胀的 ZooKeeper 令牌节点(根治关键)

在 ZooKeeper 中,删除这个异常膨胀的节点,并重新创建干净的空节点。

1. 以 hive 用户身份连接 ZooKeeper(需 Kerberos 认证)

zkCli.sh -server wf-gd2-bpit-dp-nn-17-70:2181

2. 查看该节点的数据大小(如果 ls 都失败,说明已无法读取)

ls /hive/cluster/delegationMETASTORE/tokens

3. 删除膨胀的节点

deleteall /hive/cluster/delegationMETASTORE/tokens

3、检查令牌过期与清理策略

委托令牌膨胀到 100+ MB,说明过期令牌没有被及时清理。检查以下配置:
hive.cluster.delegation.token.max-lifetime 604800 hive.cluster.delegation.token.renew-interval 86400 同时检查 Metastore 的后台清理线程是否正常运行。

修改为:
hive.cluster.delegation.token.max-lifetime 86400 hive.cluster.delegation.token.renew-interval 43200

相关推荐
计算机毕业编程指导师10 小时前
大数据毕设选题推荐:基于Hadoop+Spark全球碳排放减排策略分析与可视化系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·spark·毕业设计·碳排放减排
53488736abcdefg1 天前
Hive 入门&架构原理
hive·hadoop·架构
泡干脆面就番茄1 天前
Hadoop基础入门到实战:从Python理解MapReduce到HDFS架构与集群搭建
hadoop
磁场转动100万匹1 天前
Hive 学习第一天:搞懂它是什么,并搭好可用的环境
hive·hadoop·学习
磁场转动100万匹1 天前
Hive 学习第三天:HQL 查询精讲与内置函数实战
hive·hadoop·学习
clorinda1 天前
Hive 窗口函数详解:让数据在分组中完成排名、累计和跨行计算
数据仓库·hive·hadoop
计算机毕业编程指导师1 天前
【计算机毕设选题】基于Hadoop的零售交易者行为特征与生存状况数据分析及可视化系统源码 毕业设计 选题推荐 数据分析 机器学习
大数据·hadoop·python·spark·毕业设计·课程设计·零售
计算机毕业编程指导师2 天前
计算机毕设怎么做?Python+Hadoop的跨平台消费者评论情感分析与数据可视化系统实战 源码 毕业设计 选题推荐 毕设选题 数据分析
大数据·hadoop·python·计算机·spark·课程设计·消费者评论
卷毛迷你猪3 天前
快速实验篇(B16)用户级预测可行性审计(否定性意见)
大数据·hadoop·数据挖掘·聚类