副本数不足就拒写?HDFS 安全模式的 “保守” 设计是否合理?

安全模式

NameNode在启动的时候,首先将映射文件fsimage载入内存,并执行编辑日志edits中的各项操作,一旦在内存中成功建立文件系统元数据的映射,则创建一个新的fsimage文件(这个操作不需要SecondaryNameNode)和一个空的编辑日志。在这个过程中NameNode是运行在安全模式的,即此时是只读的。

在安全模式下,NameNode收集各个DataNode的报告,当数据块达到最小副本数以上时,会被认为是安全的,在一定比例的数据块被确定安全后,再过一段时间安全模式结束;当检测到副本数不足的数据块时,该块会被复制直到达到最小副本数,系统中数据块的位置并不是由NameNode维护的,而是以块列表的形式存储在DataNode中

参考文献

相关推荐
Irene199110 小时前
剑指大数据:企业级数据仓库项目实战(金融租赁版)读书笔记__大数据测试集群的服务器节点服务分配规划表__解读(附:技术选型清单)
大数据·数据仓库·金融
小五传输10 小时前
Serv-U替代方案怎么选?政务机关文件安全传输对比与迁移指南
大数据·运维·安全
吉甫作诵10 小时前
阿里云 ECS 安装 ClickHouse:密码配置、目录迁移与基础调优
大数据·clickhouse
真上帝的左手11 小时前
19. 大数据- 湖仓一体&BI - 阿里云实践
大数据·阿里云·云计算
ACP广源盛1392462567311 小时前
Qwen3.8‑2.4T 开源落地@ACP#国产 MoE 大模型私有化部署中 MST 多屏转换芯片 GSV2231 硬件价值与应用场景
大数据·数据库·人工智能·嵌入式硬件
万岳科技系统开发11 小时前
外卖跑腿小程序如何提升本地生活服务平台运营效率?
大数据·小程序·生活
cc复CC11 小时前
从零开始手写 Spark 02|数据流与延迟迭代
大数据·分布式
数据智研11 小时前
【数据分享】全国农产品成本收益资料汇编(1953-2025)
大数据·人工智能·信息可视化·数据分析
yinshuzhineng12 小时前
问题:如何实现数字化转型,增强竞争优势?
大数据·人工智能·制造
Zaimmm13 小时前
临床文献智能检索哪家强?2026年主流AI循证平台深度测评与推荐
大数据·人工智能·microsoft