spark连接metastore(kerbors)揭秘

1、hivemeta开启meta后,spark-sql执行报错:

Caused by: GSSException: No valid credentials provided (Mechanism level: Server not found in Kerberos database (7) - LOOKING_UP_SERVER)

at sun.security.jgss.krb5.Krb5Context.initSecContext(Krb5Context.java:770)

at sun.security.jgss.GSSContextImpl.initSecContext(GSSContextImpl.java:248)

at sun.security.jgss.GSSContextImpl.initSecContext(GSSContextImpl.java:179)

at com.sun.security.sasl.gsskerb.GssKrb5Client.evaluateChallenge(GssKrb5Client.java:192)

... 55 more

Caused by: KrbException: Server not found in Kerberos database (7) - LOOKING_UP_SERVER

at sun.security.krb5.KrbTgsRep.<init>(KrbTgsRep.java:73)

at sun.security.krb5.KrbTgsReq.getReply(KrbTgsReq.java:251)

at sun.security.krb5.KrbTgsReq.sendAndGetCreds(KrbTgsReq.java:262)

at sun.security.krb5.internal.CredentialsUtil.serviceCreds(CredentialsUtil.java:308)

at sun.security.krb5.internal.CredentialsUtil.acquireServiceCreds(CredentialsUtil.java:126)

at sun.security.krb5.Credentials.acquireServiceCreds(Credentials.java:458)

at sun.security.jgss.krb5.Krb5Context.initSecContext(Krb5Context.java:693)

... 58 more

解决方案:

spark.kerberos.principal hdfs/hadoop001@EXAMPLE.cn

spark.kerberos.keytab /BigData/run/hadoop/etc/hadoop/hdfs.keytab
spark.hadoop.hive.metastore.kerberos.principal hdfs/hadoop001@EXAMPLE.cn

相关推荐
hpoenixf2 小时前
2026 年前端面试问什么
前端·面试
还是大剑师兰特2 小时前
Vue3 中的 defineExpose 完全指南
前端·javascript·vue.js
泯泷3 小时前
阶段一:从 0 看懂 JSVMP 架构,先在脑子里搭出一台最小 JSVM
前端·javascript·架构
mengchanmian3 小时前
前端node常用配置
前端
藦卡机器人4 小时前
中国工业机器人发展现状
大数据·人工智能·机器人
华洛4 小时前
利好打工人,openclaw不是企业提效工具,而是个人助理
前端·javascript·产品经理
xkxnq4 小时前
第六阶段:Vue生态高级整合与优化(第93天)Element Plus进阶:自定义主题(变量覆盖)+ 全局配置与组件按需加载优化
前端·javascript·vue.js
Simon_lca4 小时前
突破合规瓶颈:ZDHC Supplier to Zero(工厂零排放 - 进阶型)体系全攻略
大数据·网络·人工智能·分类·数据挖掘·数据分析·零售
A黄俊辉A5 小时前
vue css中 :global的使用
前端·javascript·vue.js
小码哥_常5 小时前
被EdgeToEdge适配折磨疯了,谁懂!
前端