三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
关键词:HDFS HA、QJM、JournalNode、VERSION 文件、fsimage、edits、txid、NameNode 启动失败、Cloudera Manager 告警、hdfs namenode -bootstrapStandby、initializeSharedEdits
目录
- 一、先说结论
- [二、现场:CM 报警 NameNode 不可用](#二、现场:CM 报警 NameNode 不可用 "#%E4%BA%8C%E7%8E%B0%E5%9C%BAcm-%E6%8A%A5%E8%AD%A6-namenode-%E4%B8%8D%E5%8F%AF%E7%94%A8")
- 三、坑一:JournalNode「未格式化」
- [四、坑二:fsimage 的 txid 与 JN 对不上](#四、坑二:fsimage 的 txid 与 JN 对不上 "#%E5%9B%9B%E5%9D%91%E4%BA%8Cfsimage-%E7%9A%84-txid-%E4%B8%8E-jn-%E5%AF%B9%E4%B8%8D%E4%B8%8A")
- [五、坑三:重启后两个 NN 都不起来,还不报错](#五、坑三:重启后两个 NN 都不起来,还不报错 "#%E4%BA%94%E5%9D%91%E4%B8%89%E9%87%8D%E5%90%AF%E5%90%8E%E4%B8%A4%E4%B8%AA-nn-%E9%83%BD%E4%B8%8D%E8%B5%B7%E6%9D%A5%E8%BF%98%E4%B8%8D%E6%8A%A5%E9%94%99")
- [六、正规姿势:别急着 mkdir](#六、正规姿势:别急着 mkdir "#%E5%85%AD%E6%AD%A3%E8%A7%84%E5%A7%BF%E5%8A%BF%E5%88%AB%E6%80%A5%E7%9D%80-mkdir")
- 七、恢复前的检查清单与启动顺序
- 八、复盘
一、先说结论
2023 年登录长时间没有查看的测试环境的 Hadoop 集群,Cloudera Manager 前台直接报警:NameNode 不可用。
看起来是一个问题,实际是三个独立的问题叠在一起,一个修完才露出下一个:
vbnet
现象:CM 报警 NameNode 不可用
↓
坑一:JournalNode 目录根本不存在 → NN 认为「journal 未格式化」
↓ 手工建目录 + VERSION 后
坑二:NN 的 fsimage txid 与 JN 里的 edits 衔接不上 → 备 NameNode 起不来
↓ 把 NN 的 edits 拷到 JN 后
坑三:两个 NN 都起不来,且日志里一行 ERROR 都没有
↓ 删掉多余的挂载点配置,只留 nameservice1
恢复
| # | 现象锚点 | 直接原因 | 处置 |
|---|---|---|---|
| 坑一 | 日志提示 journal 未格式化 | JN 节点上 current/ 目录及 VERSION 文件缺失 |
重建目录 + 写 VERSION,权限/属主与 NN 侧一致 |
| 坑二 | 备 NameNode 启动失败,提示 edits 衔接不上 | JN 里没有可供回放的 edits 段 | 把 Active NN 的 edits_* 复制到 JN 的 current/ |
| 坑三 | jps 里没有 NameNode,日志无 ERROR |
hdfs-site.xml 残留了除 nameservice1 之外的挂载点配置 |
清理配置,只保留实际使用的 nameservice1 |
三条经验:
- QJM 的元数据是"三件套"必须对齐 :NN 的
VERSION(namespaceID / clusterID / blockpoolID)+ NN 的 fsimage(最新 txid)+ JN 的 edits 段。任何一件对不上,HA 就起不来。 - "不报错地起不来"是最难查的一类,因为日志级别、配置覆盖、启动顺序都可能把错误吞掉,必须用前台启动把日志逼出来。
- 测试环境的"先这样凑合"最终会变成债。这次三个坑,本质上都是历史手工改动留在配置和目录里的痕迹。
二、现场:CM 报警 NameNode 不可用
登录测试环境的 Hadoop 集群(HA + QJM 架构,CM 管理;从下文 VERSION 里的 layoutVersion=-60 看,应该是 Hadoop 2.x),CM 首页红色告警,HDFS 服务显示 NameNode 不可用。
先看最基本的:
perl
jps -l | grep -i -E "namenode|journalnode|datanode"
结果很直接:JournalNode 进程一个都没有,NameNode 也没起来。
再看 NN 的日志:
bash
tail -n 200 $HADOOP_LOG_DIR/hadoop-hdfs-namenode-<host>.log
关键报错是"journal 未格式化"这一类。到这里第一个坑就明确了:JN 的存储目录是空的 ,NN 连接 JN 时找不到 VERSION 文件,判定这个 journal 不属于本集群、或者说"没格式化过"。
为什么目录会空?测试环境的机器重装过、挂载点换过盘,目录没人重建------这是测试环境最常见的"元数据失忆"。
三、坑一:JournalNode「未格式化」
3.1 原理:JN 里的 VERSION 是什么
QJM(Quorum Journal Manager)里,每台 JournalNode 的存储目录结构是这样的:
bash
/data/jn/ # dfs.journalnode.edits.dir
└── current/
├── VERSION # 身份文件,必须有
├── edits_0000000000000000001-0000000000000000123
└── edits_inprogress_...
VERSION 记录了这个 JN 属于哪个文件系统:
ini
namespaceID=1093834194
clusterID=cluster10
cTime=0
storageType=JOURNAL_NODE
blockpoolID=BP-808770003-10.0.0.11-1551773589713
layoutVersion=-60
| 字段 | 含义 | 一致性要求 |
|---|---|---|
namespaceID |
文件系统命名空间 ID | 必须 与 NN 的 VERSION 完全一致 |
clusterID |
集群 ID | 必须与 NN 一致 |
blockpoolID |
块池 ID | 必须与 NN 一致 |
storageType |
存储类型 | JN 固定为 JOURNAL_NODE |
cTime |
创建时间 | JN 侧为 0 即可 |
layoutVersion |
元数据布局版本 | 必须与 Hadoop 版本匹配(示例为 Hadoop 2.x 的 -60) |
也就是说:这三行 ID 抄错一个字符,NN 就不认这台 JN。
3.2 处置:目录和 VERSION 一起重建
在每一台 JournalNode 上(三节点 JN 就做三遍):
bash
# 1) 建目录(含 current)
sudo -u hdfs mkdir -p /data/jn/current
# 2) 写 VERSION:值从 Active NN 的 current/VERSION 里抄,不要手打
sudo -u hdfs tee /data/jn/current/VERSION >/dev/null <<'EOF'
namespaceID=1093834194
clusterID=cluster10
cTime=0
storageType=JOURNAL_NODE
blockpoolID=BP-808770003-10.0.0.11-1551773589713
layoutVersion=-60
EOF
# 3) 属主与权限,三台 JN 必须完全一致
sudo -u hdfs chown -R hdfs:hadoop /data/jn
sudo -u hdfs chmod 700 /data/jn/current
# 4) 校验
ls -ln /data/jn/current/ # 看属主/权限是否为 hdfs:hadoop 700
cat /data/jn/current/VERSION
原文记录里特别强调了一句:「建的时候各级目录的权限要一致 」。这不是洁癖------NN 以
hdfs用户读写 JN 目录,权限或属主不一致时,轻则写入失败,重则被判定为"目录不可用"而跳过这台 JN。
3.3 这一步做完,为什么还没完
建完目录、启动 JN,再起 NameNode,日志换了一种报错:备 NameNode 起不来。于是进入第二个坑。
四、坑二:fsimage 的 txid 与 JN 对不上
4.1 原理:Standby 启动时在读什么
HA 下,一个 standby NameNode 启动要完成两件事:
-
加载本地
name.dir里的 fsimage,得到一个"我已经同步到 txid = T"的位置; -
向 QJM 请求 T 之后的 edits 段,一笔一笔回放,追上 active 的进度。
Active NN ──写 edits──> JournalNode(多数派写入成功才算提交)
│
Standby NN ──读 edits >= fsimage 的 txid──┘
只要 JN 里拿不出覆盖「fsimage 的 txid 之后」的连续 edits 段,这本账就断了------standby 找不到"接着上次往下记"的那一页,启动直接失败。日志里通常是 edits 段衔接不上、找不到匹配的 edit 文件之类的提示。
我们这次的情况更朴素:JN 是刚建的,current/ 里干干净净,一条 edits 都没有。
4.2 处置:把 Active NN 的 edits 搬过去
bash
# 在 Active NN 上看它的 edits 目录
ls -l /data/dfs/nn/current/ | grep edits
# 把 edits_ 开头的文件连同 VERSION 一起同步到每台 JN 的 current/
# 注意:只拷完整段(edits_xxx-yyy),inprogress 文件不要手工搬
sudo -u hdfs scp /data/dfs/nn/current/edits_* \
jn-node-01:/data/jn/current/
sudo -u hdfs chown -R hdfs:hadoop /data/jn/current
sudo -u hdfs chmod 700 /data/jn/current
拷完先别急着起 NN,用 oev 看一眼 edits 能不能正常解析、txid 是不是连续:
bash
hdfs oev -i /data/jn/current/edits_0000000000000000001-0000000000000000123 \
-o /tmp/edits.xml -p xml
head -n 20 /tmp/edits.xml
确认无误后启动 JN,再起 NN。这次 standby 能正常回放,HA 恢复。
4.3 这一段最容易踩的两个雷
| 雷 | 后果 | 预防 |
|---|---|---|
把 edits_inprogress_* 也拷进 JN |
两个 NN 同时认为该段未提交,可能出现段重叠/Gap in edit logs | 只搬已完成的 edits_ 段 |
| 拷贝后不改属主 | JN 写不进去,启动时静默跳过该 JN | 拷完立刻 chown -R hdfs:hadoop |
更稳妥的做法是不搬文件,而是让 standby 自己去 active 拉:
hdfs namenode -bootstrapStandby。它会从 active 同步 fsimage 与 edits 到本地 name.dir,并初始化共享 edits 目录。详见第六节。
五、坑三:重启后两个 NN 都不起来,还不报错
5.1 现象:日志沉默
修完前两个坑,重启集群,结果:
bash
jps -l | grep -i namenode
# 空
tail -n 100 $HADOOP_LOG_DIR/hadoop-hdfs-namenode-*.log
# 没有任何 ERROR,也没有明显的异常栈
进程没起来,日志却"干净",这是最让人抓狂的一类问题。因为错误可能被日志级别、被启动脚本的重定向、被配置解析阶段的静默退出吞掉了。
5.2 排查:把日志逼出来
bash
# 1) 前台启动,日志直接打到终端(最关键的一步)
sudo -u hdfs env HADOOP_ROOT_LOGGER=DEBUG,console hdfs namenode
# 2) Hadoop 3 也可以直接用 --loglevel
sudo -u hdfs hdfs --loglevel DEBUG namenode
# 3) 顺带确认是不是被 CM 的安全阀改回去了
grep -n "dfs.nameservices|dfs.ha.namenodes|shared.edits.dir" \
/etc/hadoop/conf/hdfs-site.xml
测试环境有个很典型的坑 :手改了 /etc/hadoop/conf/hdfs-site.xml 觉得已经生效,但 CM 的重启动作会用它在数据库里的配置重新下发,把手工改动覆盖掉------日志里看不出任何异常,配置却回到了旧值。
5.3 根因:配置里多了个"挂载点"
前台启动后,异常信息指向了配置解析阶段:NN 在构建命名空间视图时,读到了不属于当前集群的那一套挂载点。
在hdfs-site.xml 里除了当前在用的 nameservice1,还留着历史遗留的另一套挂载点/nameservice 配置。NN 启动时会遍历这些配置去构建命名空间视图,读到一条指向"不存在的集群"的配置后直接退出,但没把它打成 ERROR。
处置就是清理:
xml
<!-- 只保留实际使用的那一套 -->
<property>
<name>dfs.nameservices</name>
<value>nameservice1</value>
</property>
<property>
<name>dfs.ha.namenodes.nameservice1</name>
<value>nn1,nn2</value>
</property>
清理的纪律:
- 只删确认没用的 。改之前先
grep -n "nameservice" hdfs-site.xml全量列一遍,逐条确认哪个是当前集群、哪个是历史残留; - CM 管理的集群,改 CM 里的配置再重启 ,不要直接改
/etc/hadoop/conf; - 改完
diff一次 :diff当前配置与改动前备份,确认没有误删当前集群的条目。
改完 CM 里重新下发配置、重启,两台 NN 起来,hdfs haadmin -getServiceState nn1 能看到一个 active、一个 standby,问题闭环。
六、正规姿势:别急着 mkdir
上文的手工建目录 + 拷 edits,是应急手段。HDFS 自己提供了两把钥匙,条件允许时优先用它们:
6.1 新装/重建 JN:initializeSharedEdits
bash
# 在其中一个 NameNode 上执行(NN 需处于安全模式/未运行状态)
hdfs namenode -initializeSharedEdits
它会把本地 edits 目录的内容初始化到共享 edits 目录(也就是各台 JN),让"本地进度"和"JN 账本"重新对齐------坑一和坑二它一次都能收拾。
6.2 备 NameNode 追不上:bootstrapStandby
bash
# 在备 NameNode 上执行,从 Active 拉取 fsimage 与 edits
hdfs namenode -bootstrapStandby
它会做三件事:从 active 拉最新 fsimage → 落地到本地 name.dir → 按 active 的 VERSION 初始化共享 edits 目录(JN)。这正好覆盖了坑二。
6.3 什么时候只能手工来
| 场景 | 推荐做法 |
|---|---|
| 全新部署 HA | -format(主)+ -bootstrapStandby(备) |
| JN 目录丢失、NN 元数据完好 | 手工重建目录 + -initializeSharedEdits |
| JN 里没有 edits、备起不来 | 优先 -bootstrapStandby,退而求其次手工拷 edits_ |
| 生产环境 | 先备份 name.dir 与所有 JN 的 current/,再动手 |
七、恢复前的检查清单与启动顺序
这次三个坑能连起来,很大程度是因为顺序 和检查都没做。整理成清单,下次照着走:
动手前
- 备份 Active NN 的
name.dir(fsimage + edits) - 备份每台 JN 的
current/目录 grep出hdfs-site.xml里所有 nameservice 相关配置,确认哪个在用- 确认改配置的入口是 CM 还是
hdfs-site.xml,别两边打架
启动顺序
markdown
1. JournalNode(全量,三台都起)
2. ZooKeeper(ZKFC 依赖)
3. Active NameNode
4. Standby NameNode
5. DataNode(全量)
6. 其他依赖组件(YARN / Hive / HBase ...)
验证
bash
hdfs haadmin -getServiceState nn1 # active
hdfs haadmin -getServiceState nn2 # standby
hdfs dfsadmin -report # DataNode 数量正常
hdfs fsck / -files -blocks # 无 MISSING / CORRUPT
hdfs dfs -ls / # 目录树可读
八、复盘
第一,QJM 的"三件套"要对齐的概念没建立起来,问题就会一个接一个。
这三件套是:NN 的 VERSION(身份)+ NN 的 fsimage(进度)+ JN 的 edits(账本)。坑一是身份缺失,坑二是账本缺失,坑三是配置里挂着别人的账本。排查时只要按"身份→进度→账本"三条线核对,就不会东一榔头西一棒子。
第二,会"不报错"挂掉的服务,一定要学会用前台启动逼日志。
jps 没进程 + 日志没 ERROR 的组合,几乎都意味着错误发生在日志系统就绪之前,或者被配置解析阶段吞掉。hdfs --loglevel DEBUG namenode 前台起一次,比翻半小时日志管用。
第三,测试环境的手工改动,要有人负责"收账"。
/etc/hadoop/conf 手改、JN 目录手工拼、挂载点配置随手加------这些在测试环境能救火,但都会沉淀成下一次故障的种子。建议至少两条纪律:配置一律走 CM 下发;每次手工改动在工单里留一行"改了什么、为什么、怎么回滚"。
第四,生产环境别抄测试环境的"应急动作"。
手工 mkdir + 写 VERSION + 拷 edits,本质是绕过 HDFS 的一致性校验。在测试环境出问题最多再修一次;生产环境上,fsimage 与 JN 一旦出现段重叠或空洞,代价是几个小时甚至一次数据恢复。能用 -initializeSharedEdits / -bootstrapStandby 的,就别手工。
参考
- Apache Hadoop:HDFS High Availability Using the Quorum Journal Manager
hdfs namenode -initializeSharedEdits/-bootstrapStandby官方文档