spark grpc 在master运行报错 exitcode13 User did not initialize spark context

程序使用sparksql 以及protobuf grpc ,执行报错

ApplicationMaster: Final app status: FAILED, exitCode: 13, (reason: Uncaught exception: java.lang.IllegalStateException: User did not initialize spark context!

先说原因 :

  • 1.使用了不具备权限的用户,spark运行环境有缺失
  • 2.protobuf 需要使用指定操作系统进行编译 未使用 os.detected.classifier=windows-x86_64 或 linux-x86_64,或者把windows上编译的jar直接拿过来使用导致
  • 3.protobuf的版本不太合适 这个比较坑,得多注意
  • 4.代码中指定了运行模式是local( 这个因为没写local,没遇到 )

解决

  • 1.使用root用户,或者将当前用户加入到sudo 权限范围,之后sudo执行
  • 2.本机 编译的放到linux执行会报错,因此需要在master节点编译 指定os.detected.classifier=linux-x86_64 例如 maven执行的命令
  • mvn clean package -P prod -Dos.detected.classifier=linux-x86_64 -Dmaven.test.skip=true

    1. pom中版本调整
  • protobuf-maven-plugin 0.6.1 降到 0.5.0 同时 io.grpc:protoc-gen-grpc-java:1.54.0 com.google.protobuf:protoc:21.0-rc-1

    升版本 0.5.0升到 0.6.1 同时 io.grpc:protoc-gen-grpc-java:3.21.9 com.google.protobuf:protoc:3.21.9

  • 4.去掉 sparksession指定local的运行设定代码
  • etc: 中间也出现过 编译问题 "protoc CreateProcess error=216, 该版本的 %1 与您运行的 Windows 版本不兼容",这个的处理就不说了。
相关推荐
阿里云大数据AI技术6 分钟前
云栖实录|人工智能+大数据平台加速企业模型后训练
大数据·人工智能
B站_计算机毕业设计之家35 分钟前
数据分析:Python懂车帝汽车数据分析可视化系统 爬虫(Django+Vue+销量分析 源码+文档)✅
大数据·爬虫·python·数据分析·汽车·可视化·懂车帝
京东零售技术2 小时前
Hudi系列:表类型(Table & Query Types)
大数据
京东零售技术2 小时前
Hudi系列:Hudi核心概念之时间轴(TimeLine)
大数据·数据可视化
weixin_549808362 小时前
从效能革命到体验重构,易路 AI Agent 破局 HR 三重困境
大数据·人工智能·重构
数据智能老司机3 小时前
Snowflake Cortex AI:面向生成式 AI 应用的解决方案——机器学习函数概览
大数据·架构·数据分析
京东零售技术3 小时前
Hudi系列:Hudi核心概念之索引(Indexs)
大数据
X-Dragon烟雨任平生3 小时前
Elasticsearch
大数据·elasticsearch·搜索引擎
INFINI Labs3 小时前
Elasticsearch 备份:snapshot 镜像使用篇
大数据·elasticsearch·搜索引擎·snapshot·backup
代码匠心4 小时前
从零开始学Flink:流批一体的执行模式
java·大数据·后端·flink·大数据处理