【教程】如何编译指定版本Spark

背景

我们目前在K8S集群中使用的spark是,基于kubeflow的Spark-Operator来运行的,对应的spark版本: 3.2.1

为啥要编译指定版本的Spark?

主要是需要读取一个消息队列的数据源, 看到有对应数据源spark读取的实现,有现成的。不过,是基于低版本spark 2.3的实现,想直接拿来用(果然没有现成的馅饼)。

结果: 悲剧了, 根本用不上。 还遇到一堆问题(不支持 On K8S、 spark operator的兼容性问题)

最终: 跑是跑起来了, 只能local模式。On K8S的问题有太多兼容性问题

所以,想着总结一下在这过程中遇到的问题

源码下载

Apache Spark, 选择对应的分支即可, 以下操作都以branch-2.3为例

准备工具

正式编译

假设你当前正在下载的spark根目录**${source_code_root}**

添加模块编译:

  • -Pkubernetes: 启用 Kubernetes 模块

编译命令如下:

复制代码
./build/sbt  -Pkubernetes clean package

编译结果

在编译完成后,产生的结果如下:

  • 运行环境的jar包: {source_code_root}/assembly/target/scala-{scala_version}/jars

注意: 不同模块编译时,依赖生产的位置不同,最终都会放入这个jars目录下

  • spark-submit: ${source_code_root}/bin
  • spark-class: ${source_code_root}/bin
  • entrypoint.sh: ${source_code_root}/resource-managers/kubernetes/docker/src/main/dockerfiles/spark

运行程序

复制代码
./bin/spark-submit \
    --master k8s://https://<k8s-apiserver-host>:<k8s-apiserver-port> \
    --deploy-mode cluster \
    --name spark-pi \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.executor.instances=5 \
    --conf spark.kubernetes.container.image=<spark-image> \
    local:///path/to/examples.jar

遇到的报错

  1. Exception in thread "main" org.apache.spark.SparkException: The Kubernetes mode does not yet support referencing application dependencies in the local file system.

解决方案: 不是spark的依赖jar的问题,是你需要提交的程序jar的问题,一般都是没有在需要运行的程序前面加: **local://**导致的

相关推荐
数字新视界5 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术5 小时前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent
武子康8 小时前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法
软件技术NINI9 小时前
DeepSeek 大模型落地应用实战指南
大数据·人工智能
wuyk55511 小时前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎
墨林陌12 小时前
AI 热点日报(2026-11-16):黄仁勋或重返英伟达,华为发具身世界模型,ChatGPT Wallet打通支付
大数据
starzy199013 小时前
Structured Streaming 结构化流概述:把流数据当作一张无限增长的表
大数据·spark
wuyk55513 小时前
Spider-第12讲-asyncio异步并发爬取
大数据·爬虫·elasticsearch·搜索引擎
筑梦之人14 小时前
Elasticsearch 9.x 从入门到精通(4/7):聚合分析与文本分析
大数据·elasticsearch·jenkins
数字新视界1 天前
信创动环监控在机房环境管理中的智能化应用与实践分析
大数据·人工智能·物联网·信息与通信·动环监控系统