副本数不足就拒写?HDFS 安全模式的 “保守” 设计是否合理?

安全模式

NameNode在启动的时候,首先将映射文件fsimage载入内存,并执行编辑日志edits中的各项操作,一旦在内存中成功建立文件系统元数据的映射,则创建一个新的fsimage文件(这个操作不需要SecondaryNameNode)和一个空的编辑日志。在这个过程中NameNode是运行在安全模式的,即此时是只读的。

在安全模式下,NameNode收集各个DataNode的报告,当数据块达到最小副本数以上时,会被认为是安全的,在一定比例的数据块被确定安全后,再过一段时间安全模式结束;当检测到副本数不足的数据块时,该块会被复制直到达到最小副本数,系统中数据块的位置并不是由NameNode维护的,而是以块列表的形式存储在DataNode中

参考文献

相关推荐
LgZhu(Yanker)5 小时前
OPC UA, CAN, PROFINET, SOCKET, MODBUS, HTTP, S7七种物联网常用协议解释
大数据·网络·物联网·网络协议·5g·http·信息与通信
SickeyLee8 小时前
教育科技内容平台的破局之路:从组织困境到 UGC 生态的构建
大数据
G皮T9 小时前
【Elasticsearch】Elasticsearch 快照恢复 API 参数详解
大数据·elasticsearch·搜索引擎·全文检索·kibana·快照·快照恢复
码字的字节9 小时前
Hadoop小文件合并技术深度解析:HAR文件归档、存储代价与索引结构
大数据·hadoop·分布式·har·小文件合并
数新网络11 小时前
Column-Stores vs. Row-Stores: How Different Are They Really?
大数据
阿里云大数据AI技术12 小时前
【新模型速递】PAI-Model Gallery云上一键部署Kimi K2模型
大数据·人工智能·数据分析
武子康16 小时前
大数据-47 Redis 内存控制、Key 过期与数据淘汰策略详解
大数据·redis·后端
阿里云大数据AI技术17 小时前
【跨国数仓迁移最佳实践2】MaxCompute SQL执行引擎对复杂类型处理全面重构,保障客户从BigQuery平滑迁移
大数据·人工智能·数据分析
小新学习屋17 小时前
网易大数据用户画像实践-笔记
大数据·人工智能·深度学习·搜索引擎·推荐算法·广告·用户画像