副本数不足就拒写?HDFS 安全模式的 “保守” 设计是否合理?

安全模式

NameNode在启动的时候,首先将映射文件fsimage载入内存,并执行编辑日志edits中的各项操作,一旦在内存中成功建立文件系统元数据的映射,则创建一个新的fsimage文件(这个操作不需要SecondaryNameNode)和一个空的编辑日志。在这个过程中NameNode是运行在安全模式的,即此时是只读的。

在安全模式下,NameNode收集各个DataNode的报告,当数据块达到最小副本数以上时,会被认为是安全的,在一定比例的数据块被确定安全后,再过一段时间安全模式结束;当检测到副本数不足的数据块时,该块会被复制直到达到最小副本数,系统中数据块的位置并不是由NameNode维护的,而是以块列表的形式存储在DataNode中

参考文献

相关推荐
Justice Young23 分钟前
Flink第四章:运行架构
大数据·flink
陈天伟教授42 分钟前
AI 未来趋势:产业应用范式之变
大数据·开发语言·人工智能·gpt
智能化咨询1 小时前
(112页PPT)德勤制造业企业数据治理平台规划方案(附下载方式)
大数据·运维·人工智能
eastyuxiao1 小时前
流程图 + 配置清单 在团队 / 公司项目管理场景的落地应用
大数据·运维·人工智能·流程图
历程里程碑1 小时前
MySQL数据类型全解析 + 代码实操讲解
大数据·开发语言·数据库·sql·mysql·elasticsearch·搜索引擎
测试员周周2 小时前
【AI测试功能2】AI功能测试的“不可确定性“难题与应对思路:从精确断言到统计判定的完整方案
大数据·人工智能·python·功能测试·测试工具·单元测试·测试用例
eastyuxiao2 小时前
流程图 + 配置清单 在团队 / 公司知识管理场景的应用落地
大数据·流程图
Adolf_19932 小时前
Mac 配置Homebrew + Oh My Zsh + npm全局权限问题
大数据·elasticsearch·搜索引擎
数字化顾问2 小时前
(121页PPT)DG1886IT信息化规划报告(附下载方式)
大数据·人工智能
TDengine (老段)12 小时前
从施工监测到运营预警,桥科院用 TDengine 提升桥梁数据管理能力
大数据·数据库·物联网·时序数据库·tdengine·涛思数据