三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点

三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点

关键词:HDFS HA、QJM、JournalNode、VERSION 文件、fsimage、edits、txid、NameNode 启动失败、Cloudera Manager 告警、hdfs namenode -bootstrapStandby、initializeSharedEdits

目录

  • 一、先说结论
  • [二、现场:CM 报警 NameNode 不可用](#二、现场:CM 报警 NameNode 不可用 "#%E4%BA%8C%E7%8E%B0%E5%9C%BAcm-%E6%8A%A5%E8%AD%A6-namenode-%E4%B8%8D%E5%8F%AF%E7%94%A8")
  • 三、坑一:JournalNode「未格式化」
  • [四、坑二:fsimage 的 txid 与 JN 对不上](#四、坑二:fsimage 的 txid 与 JN 对不上 "#%E5%9B%9B%E5%9D%91%E4%BA%8Cfsimage-%E7%9A%84-txid-%E4%B8%8E-jn-%E5%AF%B9%E4%B8%8D%E4%B8%8A")
  • [五、坑三:重启后两个 NN 都不起来,还不报错](#五、坑三:重启后两个 NN 都不起来,还不报错 "#%E4%BA%94%E5%9D%91%E4%B8%89%E9%87%8D%E5%90%AF%E5%90%8E%E4%B8%A4%E4%B8%AA-nn-%E9%83%BD%E4%B8%8D%E8%B5%B7%E6%9D%A5%E8%BF%98%E4%B8%8D%E6%8A%A5%E9%94%99")
  • [六、正规姿势:别急着 mkdir](#六、正规姿势:别急着 mkdir "#%E5%85%AD%E6%AD%A3%E8%A7%84%E5%A7%BF%E5%8A%BF%E5%88%AB%E6%80%A5%E7%9D%80-mkdir")
  • 七、恢复前的检查清单与启动顺序
  • 八、复盘

一、先说结论

2023 年登录长时间没有查看的测试环境的 Hadoop 集群,Cloudera Manager 前台直接报警:NameNode 不可用。

看起来是一个问题,实际是三个独立的问题叠在一起,一个修完才露出下一个:

vbnet 复制代码
现象:CM 报警 NameNode 不可用
  ↓
坑一:JournalNode 目录根本不存在 → NN 认为「journal 未格式化」
  ↓ 手工建目录 + VERSION 后
坑二:NN 的 fsimage txid 与 JN 里的 edits 衔接不上 → 备 NameNode 起不来
  ↓ 把 NN 的 edits 拷到 JN 后
坑三:两个 NN 都起不来,且日志里一行 ERROR 都没有
  ↓ 删掉多余的挂载点配置,只留 nameservice1
恢复
# 现象锚点 直接原因 处置
坑一 日志提示 journal 未格式化 JN 节点上 current/ 目录及 VERSION 文件缺失 重建目录 + 写 VERSION,权限/属主与 NN 侧一致
坑二 备 NameNode 启动失败,提示 edits 衔接不上 JN 里没有可供回放的 edits 段 把 Active NN 的 edits_* 复制到 JN 的 current/
坑三 jps 里没有 NameNode,日志无 ERROR hdfs-site.xml 残留了除 nameservice1 之外的挂载点配置 清理配置,只保留实际使用的 nameservice1

三条经验:

  1. QJM 的元数据是"三件套"必须对齐 :NN 的 VERSION(namespaceID / clusterID / blockpoolID)+ NN 的 fsimage(最新 txid)+ JN 的 edits 段。任何一件对不上,HA 就起不来。
  2. "不报错地起不来"是最难查的一类,因为日志级别、配置覆盖、启动顺序都可能把错误吞掉,必须用前台启动把日志逼出来。
  3. 测试环境的"先这样凑合"最终会变成债。这次三个坑,本质上都是历史手工改动留在配置和目录里的痕迹。

二、现场:CM 报警 NameNode 不可用

登录测试环境的 Hadoop 集群(HA + QJM 架构,CM 管理;从下文 VERSION 里的 layoutVersion=-60 看,应该是 Hadoop 2.x),CM 首页红色告警,HDFS 服务显示 NameNode 不可用。

先看最基本的:

perl 复制代码
jps -l | grep -i -E "namenode|journalnode|datanode"

结果很直接:JournalNode 进程一个都没有,NameNode 也没起来。

再看 NN 的日志:

bash 复制代码
tail -n 200 $HADOOP_LOG_DIR/hadoop-hdfs-namenode-<host>.log

关键报错是"journal 未格式化"这一类。到这里第一个坑就明确了:JN 的存储目录是空的 ,NN 连接 JN 时找不到 VERSION 文件,判定这个 journal 不属于本集群、或者说"没格式化过"。

为什么目录会空?测试环境的机器重装过、挂载点换过盘,目录没人重建------这是测试环境最常见的"元数据失忆"。


三、坑一:JournalNode「未格式化」

3.1 原理:JN 里的 VERSION 是什么

QJM(Quorum Journal Manager)里,每台 JournalNode 的存储目录结构是这样的:

bash 复制代码
/data/jn/                      # dfs.journalnode.edits.dir
└── current/
    ├── VERSION                # 身份文件,必须有
    ├── edits_0000000000000000001-0000000000000000123
    └── edits_inprogress_...

VERSION 记录了这个 JN 属于哪个文件系统:

ini 复制代码
namespaceID=1093834194
clusterID=cluster10
cTime=0
storageType=JOURNAL_NODE
blockpoolID=BP-808770003-10.0.0.11-1551773589713
layoutVersion=-60
字段 含义 一致性要求
namespaceID 文件系统命名空间 ID 必须 与 NN 的 VERSION 完全一致
clusterID 集群 ID 必须与 NN 一致
blockpoolID 块池 ID 必须与 NN 一致
storageType 存储类型 JN 固定为 JOURNAL_NODE
cTime 创建时间 JN 侧为 0 即可
layoutVersion 元数据布局版本 必须与 Hadoop 版本匹配(示例为 Hadoop 2.x 的 -60)

也就是说:这三行 ID 抄错一个字符,NN 就不认这台 JN。

3.2 处置:目录和 VERSION 一起重建

在每一台 JournalNode 上(三节点 JN 就做三遍):

bash 复制代码
# 1) 建目录(含 current)
sudo -u hdfs mkdir -p /data/jn/current
​
# 2) 写 VERSION:值从 Active NN 的 current/VERSION 里抄,不要手打
sudo -u hdfs tee /data/jn/current/VERSION >/dev/null <<'EOF'
namespaceID=1093834194
clusterID=cluster10
cTime=0
storageType=JOURNAL_NODE
blockpoolID=BP-808770003-10.0.0.11-1551773589713
layoutVersion=-60
EOF
​
# 3) 属主与权限,三台 JN 必须完全一致
sudo -u hdfs chown -R hdfs:hadoop /data/jn
sudo -u hdfs chmod 700 /data/jn/current
​
# 4) 校验
ls -ln /data/jn/current/          # 看属主/权限是否为 hdfs:hadoop 700
cat /data/jn/current/VERSION

原文记录里特别强调了一句:「建的时候各级目录的权限要一致 」。这不是洁癖------NN 以 hdfs 用户读写 JN 目录,权限或属主不一致时,轻则写入失败,重则被判定为"目录不可用"而跳过这台 JN。

3.3 这一步做完,为什么还没完

建完目录、启动 JN,再起 NameNode,日志换了一种报错:备 NameNode 起不来。于是进入第二个坑。


四、坑二:fsimage 的 txid 与 JN 对不上

4.1 原理:Standby 启动时在读什么

HA 下,一个 standby NameNode 启动要完成两件事:

  1. 加载本地 name.dir 里的 fsimage,得到一个"我已经同步到 txid = T"的位置;

  2. 向 QJM 请求 T 之后的 edits 段,一笔一笔回放,追上 active 的进度。

    Active NN ──写 edits──> JournalNode(多数派写入成功才算提交)
    │
    Standby NN ──读 edits >= fsimage 的 txid──┘

只要 JN 里拿不出覆盖「fsimage 的 txid 之后」的连续 edits 段,这本账就断了------standby 找不到"接着上次往下记"的那一页,启动直接失败。日志里通常是 edits 段衔接不上、找不到匹配的 edit 文件之类的提示。

我们这次的情况更朴素:JN 是刚建的,current/ 里干干净净,一条 edits 都没有。

4.2 处置:把 Active NN 的 edits 搬过去

bash 复制代码
# 在 Active NN 上看它的 edits 目录
ls -l /data/dfs/nn/current/ | grep edits
​
# 把 edits_ 开头的文件连同 VERSION 一起同步到每台 JN 的 current/
# 注意:只拷完整段(edits_xxx-yyy),inprogress 文件不要手工搬
sudo -u hdfs scp /data/dfs/nn/current/edits_* \
    jn-node-01:/data/jn/current/
​
sudo -u hdfs chown -R hdfs:hadoop /data/jn/current
sudo -u hdfs chmod 700 /data/jn/current

拷完先别急着起 NN,用 oev 看一眼 edits 能不能正常解析、txid 是不是连续:

bash 复制代码
hdfs oev -i /data/jn/current/edits_0000000000000000001-0000000000000000123 \
         -o /tmp/edits.xml -p xml
head -n 20 /tmp/edits.xml

确认无误后启动 JN,再起 NN。这次 standby 能正常回放,HA 恢复。

4.3 这一段最容易踩的两个雷

雷 后果 预防
把 edits_inprogress_* 也拷进 JN 两个 NN 同时认为该段未提交,可能出现段重叠/Gap in edit logs 只搬已完成的 edits_ 段
拷贝后不改属主 JN 写不进去,启动时静默跳过该 JN 拷完立刻 chown -R hdfs:hadoop

更稳妥的做法是不搬文件,而是让 standby 自己去 active 拉:hdfs namenode -bootstrapStandby。它会从 active 同步 fsimage 与 edits 到本地 name.dir,并初始化共享 edits 目录。详见第六节。


五、坑三:重启后两个 NN 都不起来,还不报错

5.1 现象:日志沉默

修完前两个坑,重启集群,结果:

bash 复制代码
jps -l | grep -i namenode
# 空
​
tail -n 100 $HADOOP_LOG_DIR/hadoop-hdfs-namenode-*.log
# 没有任何 ERROR,也没有明显的异常栈

进程没起来,日志却"干净",这是最让人抓狂的一类问题。因为错误可能被日志级别、被启动脚本的重定向、被配置解析阶段的静默退出吞掉了。

5.2 排查:把日志逼出来

bash 复制代码
# 1) 前台启动,日志直接打到终端(最关键的一步)
sudo -u hdfs env HADOOP_ROOT_LOGGER=DEBUG,console hdfs namenode
​
# 2) Hadoop 3 也可以直接用 --loglevel
sudo -u hdfs hdfs --loglevel DEBUG namenode
​
# 3) 顺带确认是不是被 CM 的安全阀改回去了
grep -n "dfs.nameservices|dfs.ha.namenodes|shared.edits.dir" \
     /etc/hadoop/conf/hdfs-site.xml

测试环境有个很典型的坑 :手改了 /etc/hadoop/conf/hdfs-site.xml 觉得已经生效,但 CM 的重启动作会用它在数据库里的配置重新下发,把手工改动覆盖掉------日志里看不出任何异常,配置却回到了旧值。

5.3 根因:配置里多了个"挂载点"

前台启动后,异常信息指向了配置解析阶段:NN 在构建命名空间视图时,读到了不属于当前集群的那一套挂载点。

在hdfs-site.xml 里除了当前在用的 nameservice1,还留着历史遗留的另一套挂载点/nameservice 配置。NN 启动时会遍历这些配置去构建命名空间视图,读到一条指向"不存在的集群"的配置后直接退出,但没把它打成 ERROR。

处置就是清理:

xml 复制代码
<!-- 只保留实际使用的那一套 -->
<property>
  <name>dfs.nameservices</name>
  <value>nameservice1</value>
</property>
<property>
  <name>dfs.ha.namenodes.nameservice1</name>
  <value>nn1,nn2</value>
</property>

清理的纪律:

  1. 只删确认没用的 。改之前先 grep -n "nameservice" hdfs-site.xml 全量列一遍,逐条确认哪个是当前集群、哪个是历史残留;
  2. CM 管理的集群,改 CM 里的配置再重启 ,不要直接改 /etc/hadoop/conf;
  3. 改完 diff 一次 :diff 当前配置与改动前备份,确认没有误删当前集群的条目。

改完 CM 里重新下发配置、重启,两台 NN 起来,hdfs haadmin -getServiceState nn1 能看到一个 active、一个 standby,问题闭环。


六、正规姿势:别急着 mkdir

上文的手工建目录 + 拷 edits,是应急手段。HDFS 自己提供了两把钥匙,条件允许时优先用它们:

6.1 新装/重建 JN:initializeSharedEdits

bash 复制代码
# 在其中一个 NameNode 上执行(NN 需处于安全模式/未运行状态)
hdfs namenode -initializeSharedEdits

它会把本地 edits 目录的内容初始化到共享 edits 目录(也就是各台 JN),让"本地进度"和"JN 账本"重新对齐------坑一和坑二它一次都能收拾。

6.2 备 NameNode 追不上:bootstrapStandby

bash 复制代码
# 在备 NameNode 上执行,从 Active 拉取 fsimage 与 edits
hdfs namenode -bootstrapStandby

它会做三件事:从 active 拉最新 fsimage → 落地到本地 name.dir → 按 active 的 VERSION 初始化共享 edits 目录(JN)。这正好覆盖了坑二。

6.3 什么时候只能手工来

场景 推荐做法
全新部署 HA -format(主)+ -bootstrapStandby(备)
JN 目录丢失、NN 元数据完好 手工重建目录 + -initializeSharedEdits
JN 里没有 edits、备起不来 优先 -bootstrapStandby,退而求其次手工拷 edits_
生产环境 先备份 name.dir 与所有 JN 的 current/,再动手

七、恢复前的检查清单与启动顺序

这次三个坑能连起来,很大程度是因为顺序 和检查都没做。整理成清单,下次照着走:

动手前

  • 备份 Active NN 的 name.dir(fsimage + edits)
  • 备份每台 JN 的 current/ 目录
  • grep 出 hdfs-site.xml 里所有 nameservice 相关配置,确认哪个在用
  • 确认改配置的入口是 CM 还是 hdfs-site.xml,别两边打架

启动顺序

markdown 复制代码
1. JournalNode(全量,三台都起)
2. ZooKeeper(ZKFC 依赖)
3. Active NameNode
4. Standby NameNode
5. DataNode(全量)
6. 其他依赖组件(YARN / Hive / HBase ...)

验证

bash 复制代码
hdfs haadmin -getServiceState nn1     # active
hdfs haadmin -getServiceState nn2     # standby
​
hdfs dfsadmin -report                 # DataNode 数量正常
hdfs fsck / -files -blocks            # 无 MISSING / CORRUPT
hdfs dfs -ls /                        # 目录树可读

八、复盘

第一,QJM 的"三件套"要对齐的概念没建立起来,问题就会一个接一个。

这三件套是:NN 的 VERSION(身份)+ NN 的 fsimage(进度)+ JN 的 edits(账本)。坑一是身份缺失,坑二是账本缺失,坑三是配置里挂着别人的账本。排查时只要按"身份→进度→账本"三条线核对,就不会东一榔头西一棒子。

第二,会"不报错"挂掉的服务,一定要学会用前台启动逼日志。

jps 没进程 + 日志没 ERROR 的组合,几乎都意味着错误发生在日志系统就绪之前,或者被配置解析阶段吞掉。hdfs --loglevel DEBUG namenode 前台起一次,比翻半小时日志管用。

第三,测试环境的手工改动,要有人负责"收账"。

/etc/hadoop/conf 手改、JN 目录手工拼、挂载点配置随手加------这些在测试环境能救火,但都会沉淀成下一次故障的种子。建议至少两条纪律:配置一律走 CM 下发;每次手工改动在工单里留一行"改了什么、为什么、怎么回滚"。

第四,生产环境别抄测试环境的"应急动作"。

手工 mkdir + 写 VERSION + 拷 edits,本质是绕过 HDFS 的一致性校验。在测试环境出问题最多再修一次;生产环境上,fsimage 与 JN 一旦出现段重叠或空洞,代价是几个小时甚至一次数据恢复。能用 -initializeSharedEdits / -bootstrapStandby 的,就别手工。


参考

  • Apache Hadoop:HDFS High Availability Using the Quorum Journal Manager
  • hdfs namenode -initializeSharedEdits / -bootstrapStandby 官方文档
相关推荐
Aloudata1 小时前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售
躺柒1 小时前
读数据分析思维通识课07数据思维图
大数据·数据挖掘·数据分析·大数据分析·数据思维图
回眸&啤酒鸭3 小时前
【回眸】Hy4 模型效果展示与能力评测大纲
大数据·人工智能·机器学习
starzy19904 小时前
Hadoop介绍总结:一张图理清组件、生态与版本
java·hadoop
伞伞悦读4 小时前
【第86期】分类指标与错误成本对照的实验与排查
大数据·人工智能·机器学习
金融小师妹9 小时前
多因子关联模型:黄金与铜价同步回落背后的金融变量及PPI传导分析
大数据·人工智能·金融
TDengine (老段)20 小时前
TDengine IDMP 功能点—数据接入
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
bksczm21 小时前
InnoDB 通用表空间与临时表空间详解
大数据·数据库·mysql
阿里云大数据AI技术1 天前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能