两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet

两个 NameNode 一起起不来:QJM Recovery 的 /getJournal 403,和 Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet

时间 :2026 年 9 月 环境 :Hadoop 3.3.2,HDFS NameNode HA(2 台 NN + 3 台 JournalNode,QJM 共享 edits),Kerberos 已开启 起因 :承载 JournalNode 的主机异常重启 结果 :两个 NameNode 全部无法启动,HDFS 集群不可用,Hive / Spark / Kyuubi / HBase / Trino 全线受影响 根因 :Hadoop 3.3.2 的 GetJournalEditServlet 在 Kerberos 环境下取不到正确的请求者身份,把合法的 JournalNode 间 /getJournal 请求判成"非 NN/JN",直接 403(对应 Apache HDFS-16686 ) 处置:改源码 → 重新编译 HDFS 包 → NN / JN 全量统一替换 → 逐台重启 JN → NameNode 恢复


两个 NameNode 一起起不来:QJM Recovery 的 /getJournal 403,和 Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet先说结论一、现场:两台 NameNode,谁也起不来1.1 拓扑1.2 08:20 那台主机1.3 NameNode 卡在哪一行二、看懂 QJM 的三个东西,否则后面的数字没法看2.1 edits_inprogress_83167458307 是什么2.2 Recovery 的四个动作2.3 那 69 条事务三、故障点:403 不在网络上,在 Servlet 里四、Hadoop 3.3.2 到底错在哪4.1 那段判定代码4.2 名字不在一个坐标系里4.3 为什么这个 bug 能藏好几年4.4 官方修复:HDFS-16686五、修复:不是改一行,是改"取名字的方式"5.1 现场改法5.2 一个容易漏掉的细节:父类5.3 为什么必须"所有 JournalNode 一起换"5.4 编译与上线顺序5.5 上线后校验四件套5.6 恢复现场:JN 逐台起来之后,NN 才开始推进六、五个"不是"6.1 不是网络问题6.2 不是 JournalNode 的 edits 整体损坏6.3 不是 fsimage 损坏6.4 不是两台 NameNode 同时坏了6.5 Unable to delete tmp file 不是第一根因七、下次遇到同类现象,按这个顺序走(30 分钟定位)八、监控:五个关键字 + 一个组合告警九、版本治理:这条坑的长期解法十、还没查完的:那台主机为什么重启十一、几个被反复问的问题附:一句话 RCA参考


先说结论

如果你只记五句话:

  1. NameNode 起不来,不一定是元数据坏了。 这次两台 NN 一个都起不来,但 fsimage 没坏、JournalNode 的 edits 也没丢------它卡在 QJM 的 Journal Recovery 阶段,被一个 HTTP 403 顶死。
  2. 403 不是网络问题,是应用层的鉴权拒绝。 日志已经打到 GetJournalEditServlet 里了,说明 TCP 通、HTTP 服务在、Servlet 也执行了,只是这个 Servlet 认定"你不配拿 edits"。
  3. 判定逻辑有两级:先比 NN 的完整 principal,再比"短名是不是和自己一样"。 JournalNode 之间的请求只能走第二级。而 3.3.2 拿到的 request.getRemoteUser() 和 UserGroupInformation.getLoginUser().getShortUserName() 根本不在一个命名空间里 ------一个是容器塞进 request 的原始名,一个是过了 hadoop.security.auth_to_local 规则后的短名。JN 一旦用自己的 jn/_HOST@REALM 身份,这两个字符串永远不相等。
  4. 这是已知缺陷,不是你们的环境配错了。 Apache HDFS-16686(GetJournalEditServlet fails to authorize valid Kerberos request )2022 年就报了,Fix Version 是 3.3.5 / 3.4.0 ,修法就是改用 DfsServlet.getUGI(request, conf)。3.3.2 不在其中。
  5. 修的时候必须把所有 JournalNode 一起换包。 这段代码跑在 JournalNode 的 HTTP 服务里;只要还有一台 JN 是旧包,Recovery 的重试打到它身上就还是 403。 "新包 + 旧包混跑"是这个故障最容易复发的形态。 NN 侧同版本替换是为了版本统一,不是修复必需。

顺带一句:这次修复没有关闭 Kerberos,也没有放开 403 。isValidRequestor() 还在,非法请求照样 403,改的只是"怎么把请求者的名字取出来"。


一、现场:两台 NameNode,谁也起不来

1.1 拓扑

bash 复制代码
                    ┌──────────────────────┐
                    │   nn-node-01 (Active)│
                    │   nn-node-02 (Standby)│
                    └──────────┬───────────┘
                               │  QJM(共享 edits,无共享存储)
              ┌────────────────┼────────────────┐
              ▼                ▼                ▼
       ┌────────────┐   ┌────────────┐   ┌────────────┐
       │ jn-node-01 │   │ jn-node-02 │   │ jn-node-03 │
       │10.20.30.211│   │10.20.30.213│   │10.20.30.215│
       └────────────┘   └────────────┘   └────────────┘
        (同时承载 Hive Metastore、ZooKeeper)
​
       edits 落盘:/data01/hdfs/journalnode-edit/ns1/current/paxos/

三点说明,后面都要用到:

  • 两个 NN 不共享磁盘,只共享 JournalNode 的 edits。 谁能起来,取决于 QJM 的 journal 能不能恢复成一致状态。
  • JournalNode 不是"日志仓库",它是会互相拉数据的。 恢复时 JN 之间要经过 HTTP /getJournal 把 edits segment 从一个节点拷到另一个节点。
  • ns1 是 nameservice 名,一个 JN 上可以有多个 nameservice 目录,判错日志时别串了。

1.2 08:20 那台主机

上午 08:20 左右,承载 JournalNode(同时还有 Hive Metastore、ZooKeeper)的主机异常,随后重启。主机回来、服务拉起之后,真正的麻烦才开始:两个 NameNode 都起不来。

这里要强调一个容易被写错的因果:主机重启只是"触发事件",不是这次的根因。 主机为什么异常,到现在我们也没有拿到 OS 层的结论(见第十节),但即使主机永远不重启,这个 403 的缺陷也一直在那里,只是在等一次 Recovery 来踩。

1.3 NameNode 卡在哪一行

NN 启动 → QJM 发现有未完成的 edit log segment → 进入 Recovery → 需要 JN 之间同步 edits → /getJournal 被 403 → Recovery 失败 → 退出。最终 NameNode 给的错误只有一行,但信息量很大:

rust 复制代码
recoverUnfinalizedSegments failed for required journal

这行的意思是: "必需的 journal 无法完成未完成 segment 的恢复" 。这里的关键词是 required journal------在 HA 里,只要有一个 required journal 恢复不了,NameNode 就不能启动,因为它无法确认 edit log 的一致性。这不是"某台 JN 掉线所以降级"的那种可容忍故障。


二、看懂 QJM 的三个东西,否则后面的数字没法看

这一节是我当时被迫补的课。跳过它,后面日志里的 83167458307、83167525681、83167525750、epoch 67 全是天书。

2.1 edits_inprogress_83167458307 是什么

JournalNode 的 edits 目录里,正常的 segment 是 edits_<start>-<end>(已封口),而正在写的那个是 edits_inprogress_<startTxId>------它还在长,没有结束事务号。

现场 jn-node-01 的日志:

ini 复制代码
Latest log is EditLogFile(
  file=/data01/hdfs/journalnode-edit/ns1/current/paxos/edits_inprogress_0000000083167458307,
  first=83167458307,
  last=83167525681,
  inProgress=true,
  hasCorruptHeader=false
)

逐字读一遍:这个 segment 从 83167458307 开始,目前长到 83167525681,还在写,头部没有损坏。

hasCorruptHeader=false 这一项在这次事故里非常关键------它直接否掉了"JournalNode 的 edits 文件坏了"这个方向(第六节展开)。

2.2 Recovery 的四个动作

NameNode 启动发现 in-progress segment,不能"直接接着写",因为不知道别的 JN 上是不是有更长的副本。于是走标准流程:

scss 复制代码
① prepareRecovery
   问所有 JN:你手上那个 segment 到哪了?(返回 startTxId / endTxId / epoch)
        ↓
② 选最优副本
   挑 (epoch 最高, endTxId 最大) 的那一份作为"权威副本"
        ↓
③ acceptRecovery(url)
   告诉其余 JN:去 <url> 把这个 segment 拉下来,覆盖你手上那份
   ------ 这一步就是 JournalNode → JournalNode 的 HTTP /getJournal
        ↓
④ finalizeLogSegment
   全员对齐后把 in-progress 段封口,NameNode 才可以继续启动

这次死在第 ③ 步。 而且注意:第 ③ 步的 HTTP 请求,发起方是 JournalNode、接收方也是 JournalNode------不是 NameNode 去拉。这一点决定了 403 的日志会出现在 JN 的服务端口上,而不是 NN 的日志里。

2.3 那 69 条事务

现场的账是这样的:

项目 值
segment startTxId 83167458307
jn-node-01 现有 endTxId 83167525681
Recovery 目标 endTxId 83167525750
差值 69
lastWriterEpoch 67
lastCommittedTxId 83167525592

69 条事务的缺口,意味着它必须去别的 JN 把这段补上 ,而不是自己续写。这就是为什么系统必然要发那些 /getJournal 请求------Recovery 一旦需要跨节点同步,就必然踩到那个 Servlet。 如果三个 JN 完全对齐,这次故障根本不会暴露。


三、故障点:403 不在网络上,在 Servlet 里

jn-node-01 的日志,09:24:58:

yaml 复制代码
2026-09-25 09:24:58,155 WARN
org.apache.hadoop.hdfs.qjournal.server.GetJournalEditServlet:
Received non-NN/JN request for edits from 10.20.30.213
​
2026-09-25 09:24:58,177 WARN
org.apache.hadoop.hdfs.qjournal.server.GetJournalEditServlet:
Received non-NN/JN request for edits from 10.20.30.215

09:49 又来一轮,这次连自己也在里面:

csharp 复制代码
Received non-NN/JN request for edits from 10.20.30.213
Received non-NN/JN request for edits from 10.20.30.211

这段日志应该怎么读,我当时的理解是这样(也是这次少走弯路的关键):

  • 打印它的是提供方 (jn-node-01),from 后面是请求方;
  • 请求方是另外两台 JN,说明它们在按 acceptRecovery 的指引来拉 edits;
  • 它们都是"合法"的 JournalNode,只是被判定成"非法";
  • 09:24 到 09:49 之间反复出现,说明 NN 侧在不停重试 Recovery,每次都撞同一堵墙。

"合法请求被判定为非法"这句话,是整个排查的分岔口。 往"网络/ACL/防火墙"方向查会白花几个小时,因为请求已经进到应用里、已经被鉴权代码拒绝并打出了业务日志。


四、Hadoop 3.3.2 到底错在哪

4.1 那段判定代码

GetJournalEditServlet.doGet() 一进来就检查请求者,检查不过在 403 之前打那行 WARN:

vbscript 复制代码
if (UserGroupInformation.isSecurityEnabled()
    && !isValidRequestor(request, conf)) {
  response.sendError(
      403,
      "Only Namenode and another JournalNode may access this servlet");
  LOG.warn("Received non-NN/JN request for edits from "
      + request.getRemoteHost());
  return false;
}

所以日志里那行 Received non-NN/JN request,就是 403 分支本身打印的。看到它,等价于看到 403。

再看 isValidRequestor()(3.3.2 原始实现,节选):

typescript 复制代码
protected boolean isValidRequestor(HttpServletRequest request, Configuration conf)
    throws IOException {
  String remotePrincipal = request.getUserPrincipal().getName();
  String remoteShortName = request.getRemoteUser();
  if (remotePrincipal == null) { // This really shouldn't happen...
    LOG.warn("Received null remoteUser while authorizing access to "
        + "GetJournalEditServlet");
    return false;
  }
  ...
  // 第一级:请求者必须是"这台 NN 认的 NameNode principal"
  List<String> validRequestors = new ArrayList<String>(2);
  validRequestors.add(SecurityUtil.getServerPrincipal(
      conf.get(DFSConfigKeys.DFS_NAMENODE_KERBEROS_PRINCIPAL_KEY),
      NameNode.getAddress(conf).getHostName()));
  ...
​
  for (String v : validRequestors) {
    if (v != null && v.equals(remotePrincipal)) {
      return true;
    }
  }
​
  // 第二级:因为是"别的 JN 来 recovery",枚举不出全部 JN,
  // 所以退化成"短名和我自己一样就放行"
  if (remoteShortName.equals(
      UserGroupInformation.getLoginUser().getShortUserName())) {
    return true;
  }
​
  return false;
}

两级判定,逻辑本身没问题。问题在第一行和第二行------名字是怎么取出来的。

4.2 名字不在一个坐标系里

  • request.getUserPrincipal().getName() / request.getRemoteUser():这两个是 Servlet 容器 / SPNEGO 认证过滤器 塞进 request 的东西,在 Kerberos 场景下,它是 GSS 层拿到的原始 principal 名(jn/node-01@EXAMPLE.COM 这种形态)。
  • UserGroupInformation.getLoginUser().getShortUserName():这个是 UGI 按 hadoop.security.auth_to_local 规则换算过的短名 (比如 hdfs)。

变量名叫 remoteShortName,但里面装的很可能是一个没经过 auth_to_local 换算的原始名。于是:

bash 复制代码
左边:jn/node-01@EXAMPLE.COM        ← 容器给的原始 principal 名
右边:hdfs                          ← UGI 按 auth_to_local 换算后的短名
                    ≠
              → 第二级判定永不成立
              → JN→JN 的 /getJournal 永远 403

第一级也救不了它:第一级比的是 NameNode 的 principal,JN 用自己的 principal 来请求,本来就匹配不上。

这就是 HDFS-16686 描述的原话:GetJournalEditServlet uses request.getRemoteUser() to determine the remoteShortName ... which fails to match when the JournalNode uses its own Kerberos principal (e.g. jn/<hostname>@<realm>)。

4.3 为什么这个 bug 能藏好几年

我自己的判断(不是官方结论):取决于 JN 用的是哪个 principal。

  • 如果 JN 进程复用的是 hdfs 这个 principal(很多早年部署为了省事,NN 和 JN 共用一个 keytab),容器取出来的名字在某些部署下恰好能和登录短名对上,第二级判定成立,bug 就一直是"潜伏"状态;
  • 一旦 JN 按最佳实践改用各自的 jn/_HOST@REALM,名字就对不上了。换句话说,这是个"越规范越容易踩"的坑。
  • 而且它只在 UserGroupInformation.isSecurityEnabled() 为真、且真的走到 JN→JN 同步(也就是 Recovery 需要补齐缺口)时才爆发。日常平稳运行、三个 JN 完全对齐、从不 Recovery 的集群,可能几年都碰不到一次。

它挑的时机也很精准:一定是你最不想出事的那天------主机刚重启、NN 起不来、所有人都盯着你的时候。

4.4 官方修复:HDFS-16686

Apache 的修法跟我们现场做的完全一致,就是把身份的获取方式换掉:

java 复制代码
protected boolean isValidRequestor(HttpServletRequest request, Configuration conf)
    throws IOException {
-   String remotePrincipal = request.getUserPrincipal().getName();
-   String remoteShortName = request.getRemoteUser();
-   if (remotePrincipal == null) { ... }
+   UserGroupInformation ugi = getUGI(request, conf);

    if (LOG.isDebugEnabled()) {
-     LOG.debug("Validating request made by " + remotePrincipal +
-         " / " + remoteShortName + ". This user is: " +
+     LOG.debug("Validating request made by " + ugi.getUserName() +
+         " / " + ugi.getShortUserName() + ". This user is: " +
          UserGroupInformation.getLoginUser());
    }
    ...
    for (String v : validRequestors) {
-     if (v != null && v.equals(remotePrincipal)) {
+     if (v != null && v.equals(ugi.getUserName())) {
        return true;
      }
    }

    // 别的 JN 来 recovery:比短名
-   if (remoteShortName.equals(
+   if (ugi.getShortUserName().equals(
          UserGroupInformation.getLoginUser().getShortUserName())) {
      return true;
    }
    return false;
  }

关键就在 getUGI(request, conf):它把 request 还原成一个真正的 UserGroupInformation,再由 UGI 去算短名 ------auth_to_local 规则在这一步被应用,"原始名"和"短名"终于进到同一个坐标系。

有个细节值得抠一下,不然容易误判这行改动的作用范围:ugi.getUserName() 拿到的仍然是原始 principal 全名 ,所以第一级"和 NN principal 比全名"对 JN 来说依然不成立。真正被修好的是第二级 ------短名终于变成了过规则的短名。也就是说,这行 getUGI 不是把判定放松了,而是让"短名"这个词第一次名副其实。

官方版本对这条规则还专门写了单测(TestGetJournalEditServlet),用 RULE:[2:$1/$2@$0]([nsdj]n/.*@REALM.TLD)s/.*/hdfs/ 把 nn/xxx 和 jn/xxx 都映射成 hdfs,然后断言"带 user.name=jn/localhost@REALM.TLD 的请求应当被放行"。想复现这个 bug,这条规则就是最小现场。


五、修复:不是改一行,是改"取名字的方式"

5.1 现场改法

hadoop-hdfs-project/hadoop-hdfs/src/main/java/org/apache/hadoop/hdfs/qjournal/server/GetJournalEditServlet.java

核心方法:protected boolean isValidRequestor(HttpServletRequest request, Configuration conf)

改完的核心逻辑:

csharp 复制代码
UserGroupInformation ugi = getUGI(request, conf);

// 合法 NameNode
if (v != null && v.equals(ugi.getUserName())) {
  return true;
}

// 合法 JournalNode(短名匹配)
if (ugi.getShortUserName().equals(
        UserGroupInformation.getLoginUser().getShortUserName())) {
  return true;
}

请再确认一遍:下面这段没有动过。

scss 复制代码
if (UserGroupInformation.isSecurityEnabled()
    && !isValidRequestor(request, conf)) {
  response.sendError(403,
      "Only Namenode and another JournalNode may access this servlet");
  ...
}

所以安全边界没变:Kerberos 还是开着,isValidRequestor() 还是要执行,非法请求还是 403。这是"身份解析修复",不是"鉴权关闭"。 这一点在向安全、审计同事解释时必须说清楚,否则很容易被理解成"你们把鉴权关了把故障糊过去了"。

5.2 一个容易漏掉的细节:父类

官方补丁里除了改方法体,还悄悄改了一行:

scala 复制代码
-import javax.servlet.http.HttpServlet;
+import org.apache.hadoop.hdfs.server.namenode.DfsServlet;

-public class GetJournalEditServlet extends HttpServlet {
+public class GetJournalEditServlet extends DfsServlet {

原因很简单:getUGI(request, conf) 是 DfsServlet 的 protected static 方法 ,而这个类原来继承的是 HttpServlet。照着改的时候如果只顾着抄方法体,getUGI 根本解析不到,编译直接过不去。

所以改这个文件有两条路,选一条走到底:

  • 跟官方一致 :改父类为 DfsServlet,直接调 getUGI;
  • 不想动继承关系 :自己在类里补一个等价的取身份方法(用 UserGroupInformation.createRemoteUser(request.getRemoteUser()) 之类),再用它算短名。

我们走的是第一条。第二条也行,但务必在做完后再跑一遍第七节的验证------"能编译"和"真的放行了"是两件事。

5.3 为什么必须"所有 JournalNode 一起换"

先纠正一个容易想当然的点:这段鉴权代码不在 NameNode 里跑,它在 JournalNode 的 HTTP 服务里跑 。/getJournal 是 JN 提供的接口,NN 只是(间接的)请求发起方。

所以"必须一起换"的第一层理由在 JN 内部。假设只换了 jn-node-01:

复制代码
jn-node-01:新包,会正确放行
jn-node-02:旧包,仍然 403 ← Recovery 打到它身上就死
jn-node-03:旧包,仍然 403

acceptRecovery 会让恢复过程去访问多个 JN,只要命中一台旧包,整个 Recovery 再次失败。所以"全部 JournalNode 一致"是功能上的硬要求,没得商量。

第二层理由是工程上的:NN 和 JN 共用同一个 hadoop-hdfs-*.jar,你不可能让 NN 跑一份旧 jar、JN 跑一份新 jar 而长期相安无事------同一个包在不同节点内容不同,是最难排查的一类问题 (这次的 403 某种程度上就是它的近亲)。所以现场把打好的包统一替换到 全部 JournalNode + 两台 NameNode,NN 这一侧不是"因为要修 bug",而是"因为要保证版本统一"。

一句话:JN 全量是功能必要,NN 同换是版本纪律。

5.4 编译与上线顺序

实际执行顺序(也是我认为比较稳的):

复制代码
① 改源码 → 编译 hadoop-hdfs 模块(注意:用生产同版本的 JDK / Protobuf,别用本地顺手的环境)
② 打补丁包,记录 sha256
③ 停业务侧写入(Hive / Spark / Kyuubi 先停,避免新 edits 继续堆积)
④ 替换 NN / JN 的 hadoop-hdfs-*.jar(先备份原包)
⑤ 逐台重启 JournalNode ------ 一台起来、日志干净了,再动下一台
⑥ 三台 JN 全部起来后,拉 NameNode
⑦ NN 日志出现 Recovery 完成 / 正常进入 standby 或 active
⑧ 起业务,Hive / Spark / Kyuubi / HBase / Trino 逐个验证

"逐台重启 JN"这点值得单独说:三个 JN 只要还有两台在线,QJM 的多数派就还在,可以一台一台换;一次全停,等于把 journal 整个下线,风险完全没必要承担。

5.5 上线后校验四件套

bash 复制代码
# 1. 各节点 jar 的 sha256 必须一致
sha256sum $HADOOP_HOME/share/hadoop/hdfs/hadoop-hdfs-*.jar

# 2. 确认新包里确实有这个 class
jar tf $HADOOP_HOME/share/hadoop/hdfs/hadoop-hdfs-3.3.2.jar \
  | grep 'qjournal/server/GetJournalEditServlet.class'

# 3. 确认运行时加载的是这个 jar,而不是别的机器上残留的旧版本
#    (看 JVM 启动参数里的 -classpath,或 jcmd <pid> VM.system_properties)
jcmd <namenode_pid> VM.system_properties | tr ':' '\n' | grep hadoop-hdfs

# 4. 日志验证:这几个关键字应当"消失/出现"
grep -E "Received non-NN/JN|/getJournal|403|recoverUnfinalizedSegments|Accepted recovery" \
  $HADOOP_HOME/logs/hadoop-hdfs-journalnode-*.log

判断标准要写死,不要靠感觉:

关键字 修复后期望
Received non-NN/JN request for edits 不再新增(历史日志里会有,看时间戳)
/getJournal + 403 不再出现
Accepted recovery 正常出现(这是好事,说明 Recovery 在推进)
recoverUnfinalizedSegments failed 不再出现
NameNode 状态 正常进入 standby/active,hdfs haadmin -getServiceState 可查

5.6 恢复现场:JN 逐台起来之后,NN 才开始推进

换包之后的实际顺序是这样的(也就是"重启 JN → 陆续恢复"这句话背后的细节):

bash 复制代码
新包就位
   ↓
逐台重启 JournalNode(一台起来、日志干净,再下一台)
   ↓
三台 JN 的 HTTP /getJournal 都不再 403
   ↓
NameNode 重新发起 Recovery
   ↓
Accepted recovery / Synchronizing log 正常推进(这次不再被拒)
   ↓
recoverUnfinalizedSegments 不再报错
   ↓
NameNode 正常进入 standby/active
   ↓
Hive / Spark / Kyuubi / HBase / Trino 逐个验证并恢复

一个实测感受:不用急着同时拉 NameNode。 先把三台 JN 的 /getJournal 授权问题确认干净(查日志、不要再出现 Received non-NN/JN),再起 NN,恢复一次成功,避免中途再失败一次把问题搞混。


六、五个"不是"

事故复盘里最值钱的往往不是"是什么",而是"我们排除了什么、凭什么排除"。这五条当时都实际验证过。

6.1 不是网络问题

证据 :日志已经打到 GetJournalEditServlet 内部,并且打印了 Received non-NN/JN request。这说明 TCP 连接、HTTP 服务、Servlet 分发、鉴权逻辑全都执行了。

对照:如果真是网络/端口问题,日志长相完全不同------

csharp 复制代码
Connection refused
Connection timed out
No route to host
java.net.ConnectException
java.net.SocketTimeoutException

结论 :现场给的是应用层的 HTTP 403。 "50080 端口不通"这个假设可以直接划掉。

6.2 不是 JournalNode 的 edits 整体损坏

证据 :edits_inprogress_0000000083167458307 能被读出,hasCorruptHeader=false,并且节点正常执行了 Prepared recovery、Accepted recovery、Synchronizing log。

结论 :edits 文件可读、Recovery 机制在工作。坏的不是数据,是"取数据的许可"。

6.3 不是 fsimage 损坏

证据 :失败点在 QJM Journal Recovery,报的是 recoverUnfinalizedSegments failed for required journal。

对照:fsimage 坏了长这样------

vbnet 复制代码
fsimage parse failure
Invalid image
Checksum error
Namespace loading failure

结论 :recoverUnfinalizedSegments 这一步还没走到加载 namespace,fsimage 有没有问题,这次根本轮不到它说话。

6.4 不是两台 NameNode 同时坏了

证据:HA 的两个 NN 共享同一套 QJM journal。

markdown 复制代码
Journal Recovery 失败
        ↓
required journal 不可恢复
        ↓
两个 NN 都拿不到一致的 edits
        ↓
两个都起不来

结论 :两台同时起不来,不代表两台机器的本地数据同时损坏,而是"共享的 Recovery 条件没满足"。这个区分很重要------它决定了你该修一处(QJM/授权),而不是去修两台机器。

6.5 Unable to delete tmp file 不是第一根因

现场还有这么一条:

bash 复制代码
2026-09-25 09:24:58,171 WARN AtomicFileOutputStream:
Unable to delete tmp file
/data01/hdfs/journalnode-edit/ns1/current/paxos/83167458307.tmp

很容易把它当成"磁盘/文件系统坏了",然后一头扎进 IO 排查。但看时间戳和后续就能否掉:

  • 这条 WARN 是 09:24:58,171;
  • 紧接着 09:24:58,177 就出现了 403 的 WARN;
  • 而同一时间段之后,日志里仍然有 Accepted recovery for segment 83167458307。

如果 tmp 文件删不掉导致 segment 无法处理,就不会有 Accepted recovery。 更合理的定位是:Recovery 过程中的伴随告警(上一轮的 .tmp 残留,删不掉不影响主流程)。它值得单独列进待办,但不能覆盖已经明明白白出现的 /getJournal 403。

我的一般原则:同一时间段里有两个异常时,选"和最终报错在同一个调用链上"的那个当根因,另一个列待办。 这里 403 在 recoverUnfinalizedSegments 的调用链上,tmp 删除不在。


七、下次遇到同类现象,按这个顺序走(30 分钟定位)

步骤 动作 期望看到 说明
1 看 NN 最终报错 recoverUnfinalizedSegments failed 有这行,直接进 QJM Recovery 方向,别去查 fsimage
2 找 JN 侧有没有 Received non-NN/JN 有 有就是应用层鉴权拒绝,跳到 4
3 没有上一条时,才查网络 curl -k https://jn:50080/... 或 nc 只有连不通才走网络线
4 确认 403 是"合法请求被拒" 请求方 IP 是已知 JN 合法请求被拒 = 身份获取有问题,不是 ACL
5 核版本 hadoop version,各节点 jar 的 sha256 3.3.2 且 < 3.3.5 → 高度怀疑 HDFS-16686
6 核 jar 一致性 NN/JN 全部一致? 混包是头号复发原因
7 打补丁或者升级 Received non-NN/JN 不再新增 见 5.4 / 5.5

顺带一个反常识的经验 :这个故障里,"重启 JournalNode""重启 NameNode""清 .tmp 文件"这类动作全都没用 ,因为它们不改变"名字取错"这个事实。我们在确认根因之前也做过类似的尝试,每次都是同样的日志再来一遍。当你发现"重启能改变现象但不改变日志"时,就该停下来读源码了。


八、监控:五个关键字 + 一个组合告警

日志关键字(建议全量采集,别只采 ERROR------这次的关键 WARN 是 WARN 级别):

rust 复制代码
Received non-NN/JN request for edits
recoverUnfinalizedSegments failed
getJournal
403
Accepted recovery

建议的组合告警(这是我认为最有价值的一条):

markdown 复制代码
GetJournalEditServlet + Received non-NN/JN + 403
    连续 N 次 / N 分钟内
        ↓
直接按 HDFS 核心故障处理(不是 P3 观察项)

理由:这三个词同时出现,基本等价于"QJM Recovery 正在失败"。而 QJM Recovery 失败的唯一后果就是 NameNode 起不来------这种信号不该等人工巡视发现。

另外两个可以一起做的指标:

  • hdfs haadmin -getServiceState 的状态变化(两台都不在 active/standby 正常态就是 P1);
  • JournalNode 的 edits 目录增长/落后情况(ls -l 各节点 edits_inprogress_* 的 lastTxId 差异),提前发现"三个 JN 不对齐",减少需要 Recovery 的概率。

九、版本治理:这条坑的长期解法

短期、中期、长期三件事,别混着做:

短期(现在) :保持现场这个已验证能恢复 NameNode 的补丁包,固化成唯一版本 。哪怕代码里有少量重复的 return true/false(LOG.isDebugEnabled() 分支之后又 return 一次),也不要在事故修复的基础上再去改代码清理。生产上,"能起来"的版本比"好看"的版本值钱得多。

中期 :评估升级到包含该修复的官方版本------3.3.5 / 3.4.0 或更高 。注意这是一次跨版本升级,Hive / HBase / Trino / Spark 对 HDFS 的兼容性、Kerberos 配置、hadoop-hdfs 与生态组件的 RPC 协议都需要一起评估,不是"换个 jar 重启"。

长期:四条基线,缺一条就会再来一次:

markdown 复制代码
Hadoop 版本基线
  + 安全补丁 / 已知缺陷(JIRA)基线
  + 源码 Patch 管理(补丁必须有 SHA256、适用版本、回滚包)
  + 统一编译 + 灰度发布 + 全量一致性校验

这次事故最有说服力的教训其实是 "某台机器新包、某台机器旧包" ------它不是配置错误,而是没有基线管理必然出现的结果。混合版本跑在 QJM 上,比单点故障更隐蔽,也更难修。


十、还没查完的:那台主机为什么重启

必须坦白:08:20 那台主机为什么异常,我们到现在也没有 OS 层结论。

这一条不补齐,复盘就只是"修好了",不是"不再发生"。要查的东西:

perl 复制代码
# 内核层
dmesg -T
journalctl -k
journalctl --since "2026-09-25 08:00:00" --until "2026-09-25 09:00:00"

# 系统日志里的关键字
grep -Ei "oom|out of memory|blocked|hung|I/O error|ext4|xfs|nvme|scsi|reset" \
  /var/log/messages

# 历史负载(如果 sar 数据还在,这是最值钱的)
sar -q          # 运行队列 / load
sar -r          # 内存
sar -n DEV      # 网络
iostat -xz 1 10 # 磁盘延迟与利用率

同时要重点看资源争抢 :这台主机上同时跑着 JournalNode + Hive Metastore + ZooKeeper 。三个都是"平时不吵、出问题一起死"的服务:JN 写 edits 对磁盘延迟敏感,ZooKeeper 对 GC 停顿敏感,Hive Metastore 对连接数和内存敏感。混部不是问题,混部没有隔离才是问题。

两个值得做的后续动作:

  1. 把 JN 从混部主机上拆出去(或者至少给它独立的磁盘),QJM 的可用性直接取决于 JN 的 IO 稳定性;
  2. 给主机重启这类事件单独建告警 (last reboot 变化、kernel panic 记录),不要等 HDFS 起不来才发现主机重启过。

十一、几个被反复问的问题

Q1:能不能不改 jar,只改配置绕过去?

我认真想过两条路,都不通:

  • 在 hadoop.security.auth_to_local 里补一条把 jn/.* 映射成 hdfs 的规则 ------ 无效。老代码比较的是容器塞进 request 的原始名字 ,根本不经过 UGI 的短名换算,规则写得再全也影响不到这一次比较。这也是为什么"改配置"的直觉在这里会失效:问题不在规则缺失,而在比较的两个字符串来自不同的取数路径。
  • 临时把安全关掉 ------ 技术上能起来,但等于把整个集群的鉴权拆掉,HDFS / Hive / HBase 全线裸奔;而且下次重启还得再关一次。这不能算处置,只能算掩盖。

所以最终只能走编译。这也是我一贯的判断标准:当一个故障的解要求你降低安全级别时,基本可以确定你还没找到真根因。

Q2:升级到 3.3.5 就一定好吗?

GetJournalEditServlet 这一处是的------官方修复就在里面。但"升级"和"打补丁"是两个不同量级的动作:3.3.5 带的是整包变更,Hive / HBase / Trino / Kyuubi 对 HDFS 客户端协议的兼容性、Kerberos 相关配置项、hadoop-hdfs 与 hadoop-common 的配套关系都要一起过。短期打补丁保命,中期再规划升级,不要在一次事故里同时干两件事。

Q3:直接重建 journal(重新 format)是不是更快?

不要。edits_inprogress 里那 69 条事务之外,还有大量已提交的事务;走"重建 journal"等于把 edits 的历史一刀切掉,NameNode 的 namespace 会和 DataNode 上的块对不上,后面要花的时间远超改一个 jar。这次能明确看到 edits 完整、hasCorruptHeader=false,就更没有理由动数据。

Q4:怎么提前发现"三个 JN 开始不对齐"?

定期比对三台 JN 的 edits_inprogress_* 的 lastTxId,差异持续扩大就说明有 JN 掉队。JN 落后本身不可怕(QJM 有自愈),可怕的是等到 NameNode 需要 Recovery 时才发现它在落后 ------那时才会踩到 /getJournal。

Q5:这个 bug 会不会也影响其他组件?

这次的判定逻辑是 GetJournalEditServlet 独有的,不影响 DataNode 的 ImageServlet、也不影响 WebHDFS。但同类"用 getUserPrincipal()/getRemoteUser() 直接比短名"的写法在 Hadoop 生态里不止一处,凡是"Kerberos 身份 + 短名比较"的地方都值得扫一遍。


附:一句话 RCA

JournalNode 所在主机异常重启后,NameNode 启动触发 QJM Journal Recovery;由于生产 Hadoop 3.3.2 的 GetJournalEditServlet 在 Kerberos 环境下用 request.getUserPrincipal()/getRemoteUser() 取请求身份,导致合法的 JournalNode 间 /getJournal 请求未被 isValidRequestor() 正确识别并返回 HTTP 403,进而造成 EditLog Recovery 失败和 recoverUnfinalizedSegments failed for required journal,最终两个 NameNode 均无法启动;通过改用 getUGI(request, conf) 基于 UserGroupInformation 重新判定 NN/JN 身份、重新编译 HDFS 包并统一替换 NN/JN 节点包后,逐台重启 JN,NameNode 恢复正常。


参考

相关推荐
知行产研10 分钟前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能
演艺大赏35 分钟前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
Databend1 小时前
活动邀请函|AI 时代的湖仓实践,从应用场景到 Cloud Agent 上手
大数据·数据库·agent
数字新视界18 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术18 小时前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent
武子康20 小时前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法
软件技术NINI1 天前
DeepSeek 大模型落地应用实战指南
大数据·人工智能
wuyk5551 天前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎
墨林陌1 天前
AI 热点日报(2026-11-16):黄仁勋或重返英伟达,华为发具身世界模型,ChatGPT Wallet打通支付
大数据