技术栈

hadoop 故障

magic_kid_2010
2 小时前
大数据·hadoop·hdfs·hadoop 故障
HDFS 故障复盘:千万级 block 导致 FBR 超过 128 MiB,DataNode 被判定为 dead本文记录一次 Hadoop 3.4.2 集群的实际故障。业务首先表现为 WebHDFS 写入异常,随后部分 DataNode 被 NameNode 标记为 dead,但对应物理机上的 Flink/YARN 任务仍然运行。最终定位到:DataNode 块数量过多,单次全量块汇报的 RPC 请求超过 ipc.maximum.data.length 的 128 MiB 限制。将上限调整为 256 MiB,并重启异常 DataNode 服务后,节点重新加入,块汇报恢复。
我是有底线的