副本数不足就拒写?HDFS 安全模式的 “保守” 设计是否合理?

安全模式

NameNode在启动的时候,首先将映射文件fsimage载入内存,并执行编辑日志edits中的各项操作,一旦在内存中成功建立文件系统元数据的映射,则创建一个新的fsimage文件(这个操作不需要SecondaryNameNode)和一个空的编辑日志。在这个过程中NameNode是运行在安全模式的,即此时是只读的。

在安全模式下,NameNode收集各个DataNode的报告,当数据块达到最小副本数以上时,会被认为是安全的,在一定比例的数据块被确定安全后,再过一段时间安全模式结束;当检测到副本数不足的数据块时,该块会被复制直到达到最小副本数,系统中数据块的位置并不是由NameNode维护的,而是以块列表的形式存储在DataNode中

参考文献

相关推荐
中科岩创21 小时前
河北某铁矿绿色矿山建设二期自动化监测项目
大数据
java水泥工1 天前
基于Echarts+HTML5可视化数据大屏展示-物流大数据展示
大数据·前端·echarts·html5·可视化大屏
paperxie_xiexuo1 天前
学术与职场演示文稿的结构化生成机制探析:基于 PaperXie AI PPT 功能的流程解构与适用性研究
大数据·数据库·人工智能·powerpoint
汤姆yu1 天前
基于大数据的出行方式推荐系统
大数据·出行方式推荐
bigdata-rookie1 天前
Spark 部署模式
大数据·分布式·spark
芝麻开门-新起点1 天前
贝壳GIS数据存储与房屋3D展示技术解析
大数据
玖日大大1 天前
Gemini 3 全维度技术解析:从认知到落地实战指南
大数据
little_xianzhong1 天前
把一个本地项目导入gitee创建的仓库中
大数据·elasticsearch·gitee
金融小师妹1 天前
基于机器学习框架的上周行情复盘:非农数据与美联储政策信号的AI驱动解析
大数据·人工智能·深度学习·1024程序员节