副本数不足就拒写?HDFS 安全模式的 “保守” 设计是否合理?

安全模式

NameNode在启动的时候,首先将映射文件fsimage载入内存,并执行编辑日志edits中的各项操作,一旦在内存中成功建立文件系统元数据的映射,则创建一个新的fsimage文件(这个操作不需要SecondaryNameNode)和一个空的编辑日志。在这个过程中NameNode是运行在安全模式的,即此时是只读的。

在安全模式下,NameNode收集各个DataNode的报告,当数据块达到最小副本数以上时,会被认为是安全的,在一定比例的数据块被确定安全后,再过一段时间安全模式结束;当检测到副本数不足的数据块时,该块会被复制直到达到最小副本数,系统中数据块的位置并不是由NameNode维护的,而是以块列表的形式存储在DataNode中

参考文献

相关推荐
weixin_lynhgworld6 分钟前
短剧小程序系统开发:引领影视行业数字化转型浪潮
大数据·小程序
计算机毕设残哥31 分钟前
【Spark+Hive+hadoop】人类健康生活方式数据分析
大数据·hive·hadoop·python·数据分析·spark·dash
货拉拉技术1 小时前
货拉拉离线大数据跨云迁移 - 数据迁移篇
大数据·云原生
MATLAB代码顾问2 小时前
Python实现星雀优化算法(Nutcracker Optimizer Algorithm, NOA) (附完整代码)
大数据·python·excel
小小王app小程序开发2 小时前
盲盒一番赏小程序用户需求分析:从行为动机到功能诉求的深度拆解
大数据
UMI赋能企业2 小时前
AI 绘画的未来趋势与发展前景
大数据·人工智能
Lx3522 小时前
Hadoop批流一体化处理:实时与离线作业融合
大数据·hadoop
zskj_qcxjqr2 小时前
中医智慧+AI科技,七彩喜机器人让健康养护“智”在必得
大数据·人工智能·科技·机器人
TanYYF3 小时前
Elasticsearch 7.15索引模板介绍
大数据·elasticsearch
Hello.Reader3 小时前
从 0 到 1Flink DataStream API 入门与上手实战
大数据·flink