【Knox编译】webhdfs-test 依赖收敛冲突问题处理

TTBIGDATA2026-01-07 16:17

一、问题背景

代码已经提交到github,完整代码请参考：Ttbigdata

在 Bigtop 编译 Apache Knox 2.1.0 的过程中，构建流程推进到测试相关模块：

text 复制代码 
gateway-test-release / webhdfs-test

前置模块（webhdfs-kerb-test）已经成功，但在 webhdfs-test 阶段，Maven 构建被 enforcer 插件强制中断 ，后续所有 Knox 模块全部
SKIPPED。

这类问题在 Knox + Hadoop 混合依赖 的场景中并不少见，通常不是代码错误，而是 历史依赖版本叠加后的收敛问题。

二、报错信息与关键日志

失败发生在 maven-enforcer-plugin:enforce-dependencies 阶段，核心日志如下：

bash 复制代码 
Dependency convergence error for com.sun.jersey:jersey-core:1.19.4 paths to dependency are:
+- org.apache.knox:webhdfs-test:2.1.0
  +- com.sun.jersey:jersey-server:1.19.4
    +- com.sun.jersey:jersey-core:1.19.4
and
+- org.apache.knox:webhdfs-test:2.1.0
  +- org.apache.hadoop:hadoop-common:3.3.4
    +- com.sun.jersey:jersey-core:1.19

类似的冲突还出现在：

  • jersey-servlet
  • jersey-server
  • jersey-json

最终 Maven 给出的结论是：

text 复制代码 
Rule 0: org.apache.maven.plugins.enforcer.DependencyConvergence failed

构建结果：

bash 复制代码 
[INFO] --------------------< org.apache.knox:webhdfs-test >--------------------
[INFO] Building webhdfs-test 2.1.0                                        [2/5]
[INFO] --------------------------------[ jar ]---------------------------------
[INFO]
[INFO] --- buildnumber-maven-plugin:1.4:create (default) @ webhdfs-test ---
[INFO] Executing: /bin/sh -c cd '/opt/modules/bigtop/dl/knox-2.1.0-RC2/gateway-test-release/webhdfs-test' && 'git' 'rev-parse' '--verify' 'HEAD'
[INFO] Working directory: /opt/modules/bigtop/dl/knox-2.1.0-RC2/gateway-test-release/webhdfs-test
[INFO] Storing buildNumber: 13021fcabafff320dfed6d0b8abed3ca630432b7 at timestamp: 1765449153438
[WARNING] Cannot get the branch information from the git repository:
Detecting the current branch failed: fatal: ref HEAD is not a symbolic ref

[INFO] Executing: /bin/sh -c cd '/opt/modules/bigtop/dl/knox-2.1.0-RC2/gateway-test-release/webhdfs-test' && 'git' 'rev-parse' '--verify' 'HEAD'
[INFO] Working directory: /opt/modules/bigtop/dl/knox-2.1.0-RC2/gateway-test-release/webhdfs-test
[INFO] Storing buildScmBranch: UNKNOWN
[INFO]
[INFO] --- maven-enforcer-plugin:3.0.0-M3:enforce (enforce-maven-version) @ webhdfs-test ---
[INFO]
[INFO] --- maven-enforcer-plugin:3.0.0-M3:enforce (enforce-maven) @ webhdfs-test ---
[INFO]
[INFO] --- maven-enforcer-plugin:3.0.0-M3:enforce (enforce-dependencies) @ webhdfs-test ---
[WARNING]
Dependency convergence error for com.sun.jersey:jersey-core:1.19.4 paths to dependency are:
+-org.apache.knox:webhdfs-test:2.1.0
  +-com.sun.jersey:jersey-server:1.19.4
    +-com.sun.jersey:jersey-core:1.19.4
and
+-org.apache.knox:webhdfs-test:2.1.0
  +-org.apache.hadoop:hadoop-common:3.3.4
    +-com.sun.jersey:jersey-core:1.19
and
+-org.apache.knox:webhdfs-test:2.1.0
  +-org.apache.hadoop:hadoop-common:3.3.4
    +-com.sun.jersey:jersey-json:1.19
      +-com.sun.jersey:jersey-core:1.19
and
+-org.apache.knox:webhdfs-test:2.1.0
  +-org.apache.hadoop:hadoop-hdfs:3.3.4
    +-com.sun.jersey:jersey-core:1.19
and
+-org.apache.knox:webhdfs-test:2.1.0
  +-org.apache.hadoop:hadoop-hdfs:3.3.4
    +-com.sun.jersey:jersey-core:1.19

[WARNING]
Dependency convergence error for com.sun.jersey:jersey-servlet:1.19.4 paths to dependency are:
+-org.apache.knox:webhdfs-test:2.1.0
  +-com.sun.jersey:jersey-servlet:1.19.4
and
+-org.apache.knox:webhdfs-test:2.1.0
  +-org.apache.hadoop:hadoop-common:3.3.4
    +-com.sun.jersey:jersey-servlet:1.19

[WARNING]
Dependency convergence error for com.sun.jersey:jersey-server:1.19.4 paths to dependency are:
+-org.apache.knox:webhdfs-test:2.1.0
  +-com.sun.jersey:jersey-server:1.19.4
and
+-org.apache.knox:webhdfs-test:2.1.0
  +-com.sun.jersey:jersey-servlet:1.19.4
    +-com.sun.jersey:jersey-server:1.19.4
and
+-org.apache.knox:webhdfs-test:2.1.0
  +-org.apache.hadoop:hadoop-common:3.3.4
    +-com.sun.jersey:jersey-server:1.19
and
+-org.apache.knox:webhdfs-test:2.1.0
  +-org.apache.hadoop:hadoop-hdfs:3.3.4
    +-com.sun.jersey:jersey-server:1.19
and
+-org.apache.knox:webhdfs-test:2.1.0
  +-org.apache.hadoop:hadoop-hdfs:3.3.4
    +-com.sun.jersey:jersey-server:1.19

[WARNING] Rule 0: org.apache.maven.plugins.enforcer.DependencyConvergence failed with message:
Failed while enforcing releasability. See above detailed error message.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary for webhdfs-kerb-test 2.1.0:
[INFO]
[INFO] webhdfs-kerb-test .................................. SUCCESS [01:33 min]
[INFO] webhdfs-test ....................................... FAILURE [ 19.826 s]
[INFO] gateway-shell-release .............................. SKIPPED
[INFO] gateway-docker ..................................... SKIPPED
[INFO] gateway-release-common ............................. SKIPPED
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  01:57 min
[INFO] Finished at: 2025-12-11T10:32:52Z
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-enforcer-plugin:3.0.0-M3:enforce (enforce-dependencies) on project webhdfs-test: Some Enforcer rules have failed. Look above for specific messages explaining why the rule failed. -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException
[ERROR]
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR]   mvn <args> -rf :webhdfs-test

三、问题根因分析

1. Knox 自身依赖 Jersey 1.19.4

Knox 2.1.0 的部分测试模块，显式或间接依赖：

text 复制代码 
com.sun.jersey:*:1.19.4

这属于 Knox 侧主动升级的 Jersey 版本。

2. Hadoop 3.3.4 仍停留在 Jersey 1.19

而 Bigtop 中引入的 Hadoop 版本为：

text 复制代码 
org.apache.hadoop:hadoop-common:3.3.4

其依赖链中仍然使用：

text 复制代码 
com.sun.jersey:*:1.19

3. Enforcer 不允许「同 GAV 多版本并存」

maven-enforcer-plugin 的 DependencyConvergence 规则非常严格：

同一个 artifactId，在依赖树中只能存在一个版本

因此当 1.19 与 1.19.4 同时出现时，即使功能兼容，也会直接 fail。

这是一个构建策略问题 ，不是运行期问题。

如果关闭 enforcer，构建是可以继续的，但并不推荐。

四、解决方案

思路说明

目标不是"消灭某条依赖路径"，而是：

让 Knox 与 Hadoop 在 Jersey 版本上达成一致

在当前 Knox + Hadoop 组合下，回退到 Hadoop 使用的 1.19 版本是风险最低、改动最小的方案。

方案：统一 Jersey 版本（推荐）

1. 修改 pom.xml

编辑文件：

text 复制代码 
gateway-test-release/webhdfs-test/pom.xml

在 <properties> 节点中加入：

xml 复制代码 
<properties>
    <hadoop-jersey.version>1.19</hadoop-jersey.version>
</properties>

该 property 会被 Knox 构建体系中的依赖管理引用，从而统一 Jersey 版本。

这种方式 不需要 exclude ，

也不会影响 Hadoop 依赖路径，

属于「向下对齐」的稳妥修复。

2. 恢复构建
bash 复制代码 
mvn compile -rf :webhdfs-test

正常情况下，webhdfs-test 将顺利通过，后续模块继续执行。

相关推荐
天若有情6733 分钟前
Deepseek-V4-Flash-20260423 深度评测与实战指南
java·大数据·网络·ai
bboyHan8 分钟前
AI重构工程质量检测：从多模态感知到全流程闭环的技术实践
大数据·人工智能
Volunteer Technology21 分钟前
MapReduce使用和原理（三）
大数据·mapreduce
Runawayliquor8 小时前
opbase：CANN 所有算子的公共地基
大数据·数据库·人工智能·算法
做个文艺程序员9 小时前
第03篇：深入 Mapping 与数据类型设计——ES Schema 设计避坑指南
大数据·elasticsearch·搜索引擎·mapping设计
智塑未来9 小时前
app应用怎么接入广告？标准流程与落地实操方案全解析
大数据·网络·人工智能
️公子10 小时前
线束组装与测试技术
大数据·线束·线束总成
黎阳之光10 小时前
黎阳之光：以视频孪生重构智能监盘，为燃机打造新一代智慧电厂大脑
大数据·人工智能·算法·安全·数字孪生
Lalolander11 小时前
设备工程项目采购中缺料和浪费的痛点和解决思路
大数据·运维·设备工程项目管理系统·设备工程项目质量管控·设备工程项目成本管控
拉卡拉开放平台12 小时前
支付系统在文旅场景的进阶之路：聚合收单、分账与自动化对账
大数据·人工智能·自动化
热门推荐
01GitHub 镜像站点02Codex 接入 DeepSeek API 完整配置文档03【踩坑记录 | 第一篇】微软商店无法使用时，如何手动安装 OpenAI Codex？附`.msix`文件系统错误解决方法04裂开！ChatGPT 居然开始要手机号验证，附详细解决方法05CC-Switch & Claude 基于 Linux 服务器安装使用指南06几个好用的ip纯净度检测网站07【AI】2026 年具身智能模型和世界模型总结08装上就回不去了：CodeGraph 让 AI 编程效率飙升 92%，它到底做了什么？09codex app每次打开重连5次Reconnecting问题解决10用了半年 OpenRouter，我换到了 Ofox.ai — 两个 AI API 聚合平台的真实对比