SparkUI依赖问题解决方法

错误原因分析

你收到的错误是:

复制代码
Exception in thread "main" java.lang.NoClassDefFoundError: org/glassfish/jersey/servlet/ServletContainer
	at org.apache.spark.status.api.v1.ApiRootResource$.getServletHandler(ApiRootResource.scala:63)
...
Caused by: java.lang.ClassNotFoundException: org.glassfish.jersey.servlet.ServletContainer

这个错误表明:

  1. Spark UI 的某些部分(特别是 ApiRootResource,用于提供 REST API)依赖于 Jersey 这个 JAX-RS (Java API for RESTful Web Services) 的实现。
  2. org.glassfish.jersey.servlet.ServletContainer 是 Jersey 提供的一个 Servlet 实现,用于将 Jersey 的 RESTful 功能集成到 Servlet 容器中。
  3. NoClassDefFoundError 表示在运行时,JVM 在你的类路径中找不到这个 ServletContainer 类。

核心问题:你的类路径中缺少了 Jersey Servlet 相关的依赖。

回顾你的 classpath:

我没有看到 org/glassfish/jersey/containers/jersey-container-servlet 或 jersey-container-servlet-core 等类似的 JAR 包。

你只有这些 Jersey 核心依赖:

  • org/glassfish/jersey/core/jersey-client/3.1.10
  • org/glassfish/jersey/core/jersey-common/3.1.10
  • org/glassfish/jersey/inject/jersey-hk2/3.1.10

这些是 Jersey 的客户端、通用模块和依赖注入模块,但它们不包含 Servlet 集成所需的 ServletContainer 类 。ServletContainer 通常位于像 jersey-container-servlet 或 jersey-container-servlet-core 这样的模块中。

Spark UI 作为一个 Web 应用,需要一个 HTTP 服务器(它用的是 Jetty)以及 Servlet API 的实现,同时也需要一个 RESTful 框架来暴露其监控 API。Spark UI 选择的 RESTful 框架就是 Jersey。


解决方案

解决这个问题就是将 Spark UI 所需的 Jersey Servlet 集成模块添加到你的 Maven 依赖中。

方案一:添加 Jersey Servlet Container 依赖 (最直接)

你需要添加 jersey-container-servlet 依赖。

具体操作(在你的 pom.xml 中添加 Maven 依赖):

在你的 pom.xml 文件的 <dependencies> 部分,添加以下依赖:

XML

复制代码
<dependency>
    <groupId>org.glassfish.jersey.containers</groupId>
    <artifactId>jersey-container-servlet</artifactId>
    <version>3.1.10</version> <scope>compile</scope> </dependency>

原因分析:

  • 你的日志显示 org.glassfish.jersey.core/jersey-client/3.1.10 等,所以 3.1.10 应该是一个兼容的版本。
  • jersey-container-servlet 模块包含了将 Jersey 应用程序部署到 Servlet 容器(如 Jetty)所需的类,包括 ServletContainer。

步骤:

  1. 打开你的 Maven 项目的 pom.xml 文件。

  2. 在 <dependencies> 标签内部添加上述 jersey-container-servlet 的依赖。

  3. 重新确认你的 jakarta.servlet-api 版本

    :鉴于你之前解决了

    复制代码
    SingleThreadModel

    问题,你现在应该使用的是

    复制代码
    jakarta.servlet-api:5.0.0

    。请

    确保这个版本依然是 5.0.0

    ,不要又跳回

    复制代码
    6.0.0

    ,因为那样会重新引入

    复制代码
    SingleThreadModel

    的问题。

    XML

    复制代码
    <dependency>
        <groupId>jakarta.servlet</groupId>
        <artifactId>jakarta.servlet-api</artifactId>
        <version>5.0.0</version>
        <scope>provided</scope>
    </dependency>
  4. 保存 pom.xml 文件。

  5. 在 IntelliJ IDEA 中,点击 Maven 侧边栏的 Reload All Maven Projects 按钮(一个刷新图标),或者右键点击 pom.xml -> Maven -> Reload project。

  6. 执行 Maven 清理与重建

    :

    • 在终端中进入你的项目根目录,运行:

      Bash 猛击

      复制代码
      mvn clean
      mvn install -DskipTests

    这能确保所有依赖都被正确刷新和重新打包。

  7. 重新运行你的 Spark 程序。


额外提示

  • 依赖树检查 : 如果添加 jersey-container-servlet 后仍然出现问题,或者出现新的 NoClassDefFoundError,务必运行 mvn dependency:tree > dependency_tree.txt。仔细检查 dependency_tree.txt 文件,搜索 servlet、jakarta、jersey 相关的依赖,查找是否有隐藏的冲突或版本不匹配。
  • SLF4J 警告 : 你的日志中仍然有 SLF4J 的警告。虽然不影响程序运行,但建议在所有问题解决后,通过 Maven <exclusions> 统一日志提供者,只保留 Logback 或 Log4j2 的一个绑定。

你已经快成功了!这个错误明确指出了缺失的 Jersey 组件,添加它应该能解决问题。祝你成功!

相关推荐
SL_staff40 分钟前
运维救火实录:钉钉考勤API变更引发工资计算异常,我们用JVS-Logic可视化逻辑引擎实现分钟级热修复
java·mysql·全栈
SunnyDays10111 小时前
Java 查找并高亮 Word 文字:精确查找及正则表达式模糊查找
java·查找文字·word 文档·高亮文字·正则匹配查找·模糊查找
计算机编程指导师1 小时前
【计算机毕设选题推荐】基于Hadoop的宫颈癌变进程光谱数据分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·数据分析·spark·毕业设计·宫颈癌变
geats人山人海1 小时前
java 4继承
java·开发语言
众链网络1 小时前
Agent 的成本大头不在“写“,在“判断“:拆解专用决策模型的三层架构
java·开发语言·人工智能·微服务
周小董1 小时前
[1371]jdk管理工具
java·开发语言
青春逝如流水2 小时前
Java 中线程的创建方式:从基础到现代
java·开发语言·多线程·ai文章
计算机编程指导师2 小时前
【计算机毕设选题推荐】基于Hadoop+Spark的化妆品销售大数据分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·spark·毕业设计·课程设计·化妆品
计算机编程指导师2 小时前
计算机毕设选题推荐:Hadoop大数据下的个体肥胖健康风险评估与可视化系统源码 毕业设计 毕设选题 数据分析 机器学习
大数据·hadoop·python·spark·毕业设计·课程设计·肥胖健康风险
Peregrine92 小时前
C++ - > 类和对象
java·c++·算法