副本数不足就拒写?HDFS 安全模式的 “保守” 设计是否合理?

安全模式

NameNode在启动的时候,首先将映射文件fsimage载入内存,并执行编辑日志edits中的各项操作,一旦在内存中成功建立文件系统元数据的映射,则创建一个新的fsimage文件(这个操作不需要SecondaryNameNode)和一个空的编辑日志。在这个过程中NameNode是运行在安全模式的,即此时是只读的。

在安全模式下,NameNode收集各个DataNode的报告,当数据块达到最小副本数以上时,会被认为是安全的,在一定比例的数据块被确定安全后,再过一段时间安全模式结束;当检测到副本数不足的数据块时,该块会被复制直到达到最小副本数,系统中数据块的位置并不是由NameNode维护的,而是以块列表的形式存储在DataNode中

参考文献

相关推荐
siliconstorm.ai8 小时前
开源与闭源的再对决:从Grok到中国力量,AI生态走向何方?
大数据·图像处理·人工智能·语言模型·ai作画·云计算·机器翻译
ws2019078 小时前
奔赴MOBILITY China 2026深圳新能源汽车技术展,共鉴行业高光时刻
大数据·人工智能·科技·汽车
Sui_Network11 小时前
Yotta Labs 选择 Walrus 作为去中心化 AI 存储与工作流管理的专用数据层
大数据·javascript·人工智能·typescript·去中心化·区块链
知彼解己12 小时前
Elasticsearch 核心知识与常见问题解析
大数据·elasticsearch·搜索引擎
周杰伦fans14 小时前
C# 代码中的“熵增”概念
大数据·c#
观察猿14 小时前
亚马逊流量突围:如何用智能化关键词运营找到更多高转化机会?
大数据·人工智能·产品运营
MatrixOrigin14 小时前
以数生智,以智驭数:GenAI新常态下的企业数据之道 | 矩阵起源产品发布会重磅启幕
大数据·人工智能·ai
MicroTech202515 小时前
打破信息洪流:微算法科技(NASDAQ:MLGO)推出一种移动互联网环境下数字媒体热点挖掘算法
大数据·数据库开发
做科研的周师兄15 小时前
【机器学习入门】5.4 线性回归模型的应用——从CO₂浓度预测学透实战全流程
java·大数据·数据库·人工智能·机器学习·回归·线性回归
qq_3506366316 小时前
技术重构人力管理 —— 打造人力资源流程自动化、智能化专业服务方案
大数据·人工智能