spark连接metastore(kerbors)揭秘

1、hivemeta开启meta后,spark-sql执行报错:

Caused by: GSSException: No valid credentials provided (Mechanism level: Server not found in Kerberos database (7) - LOOKING_UP_SERVER)

at sun.security.jgss.krb5.Krb5Context.initSecContext(Krb5Context.java:770)

at sun.security.jgss.GSSContextImpl.initSecContext(GSSContextImpl.java:248)

at sun.security.jgss.GSSContextImpl.initSecContext(GSSContextImpl.java:179)

at com.sun.security.sasl.gsskerb.GssKrb5Client.evaluateChallenge(GssKrb5Client.java:192)

... 55 more

Caused by: KrbException: Server not found in Kerberos database (7) - LOOKING_UP_SERVER

at sun.security.krb5.KrbTgsRep.<init>(KrbTgsRep.java:73)

at sun.security.krb5.KrbTgsReq.getReply(KrbTgsReq.java:251)

at sun.security.krb5.KrbTgsReq.sendAndGetCreds(KrbTgsReq.java:262)

at sun.security.krb5.internal.CredentialsUtil.serviceCreds(CredentialsUtil.java:308)

at sun.security.krb5.internal.CredentialsUtil.acquireServiceCreds(CredentialsUtil.java:126)

at sun.security.krb5.Credentials.acquireServiceCreds(Credentials.java:458)

at sun.security.jgss.krb5.Krb5Context.initSecContext(Krb5Context.java:693)

... 58 more

解决方案:

spark.kerberos.principal hdfs/hadoop001@EXAMPLE.cn

spark.kerberos.keytab /BigData/run/hadoop/etc/hadoop/hdfs.keytab
spark.hadoop.hive.metastore.kerberos.principal hdfs/hadoop001@EXAMPLE.cn

相关推荐
云和数据.ChenGuang8 分钟前
大型企业级金融信贷平台需求报告
大数据·金融·毕业设计
前端橙一陈35 分钟前
LocalStorage Token vs HttpOnly Cookie 认证方案
前端·spring boot
~无忧花开~38 分钟前
JavaScript学习笔记(十五):ES6模板字符串使用指南
开发语言·前端·javascript·vue.js·学习·es6·js
Hello.Reader1 小时前
Flink 有状态流处理State、Keyed State、Checkpoint、对齐/不对齐与生产实践
大数据·flink·linq
帅气的小峰1 小时前
【源码剖析】5-生产者-RecordAccumulator分析
大数据·kafka·源码
泰迪智能科技011 小时前
图书推荐丨Web数据可视化(ECharts 5)(微课版)
前端·信息可视化·echarts
CodeCraft Studio1 小时前
借助Aspose.Email,使用 Python 读取 Outlook MSG 文件
前端·python·outlook·aspose·email·msg·python读取msg文件
源码宝1 小时前
智慧工地系统:建筑行业数字化转型的核心趋势,集成云计算、物联网、大数据等技术,构建覆盖施工全周期的智能化管理体系。
大数据·源码·软件开发·智慧工地·智慧工地源码·数字工地·工地智能化
zzywxc7872 小时前
AI 开发工具全景指南:从编码辅助到模型部署的全流程实践
大数据·人工智能·低代码·机器学习·golang·自动化·ai编程
鲲志说2 小时前
电子证照系统国产化改造实践:从MongoDB到金仓数据库的平滑迁移与性能优化
大数据·数据库·mongodb·性能优化·数据库开发·数据库架构·金仓数据库