HDFS与MapResource笔记

客户端向NN请求上传文件

NN回应可以上传

请求上传块,返回DN

所以后面就比较慢

找最近的服务器进行

64K发到1节点,1节点立刻发给2节点,同时1节点自动开始落盘,这里,3个节点是同时落盘的. 因为缓存是在内存中,而持久化是将数据存到磁盘上.

副本节点选择:

1.安全:放不同机架

2.速率:放同一机架

结合后,机架1放1台 机架2放2台

确保当只需要2台时,有一台在机架2上

客户端是并行读取,但是落盘是顺序落盘的(注意这里是没有隐藏序列号的)

NN 内存和磁盘都有,

一个新文件来保存元数据的变更记录

放入内存中

fsimage元数据

edit 记录

不明白!!!

100W条数据,或者1小时到达,2NN要合并了,Edits会不会停止?

方式: 产生一个最新的空的日志,让2NN把旧的拿走

流程:

1.NN启动 : 加载元数据和日志到内存

2.客户端请求操作

  1. NN更新操作日志

注意元数据是不修改的 修改的只是日志

但是,元数据和修改日志,是一对一的

  1. NN进行操作

  2. 到达条件 滚动

  3. 2NN拿走回滚文件, 更新元数据,加载到内存,

  4. 2NN将新的元数据发送给NN,NN更新元数据

数据块 一个数据块带一个meta文件,meta文件就是数据块的描述信息(数据长度 校验和 时间戳)

注意 当NN启动并且加载到内存后,还不能开,必须先将DN向NN注册,同时上报,以后每6小时都上报所有块信息.

这些操作都是在内存中完成的

这时候内存中: fsi edits 元数据目录 这才是整体NN

NN会监控DN,每三秒连接一次.

三秒未连接会触发超时处理,10分钟+30秒未连接,节点G

MapReduce(已经被淘汰了)

优点:

  • 易编程
  • 高扩展性:直接 加机器
  • 高容错:机器挂了,可以转移到另一个节点 默认可以重试4次
  • 适合PB级以上数据的离线处理: 不方便处理流式数据

分与合

分:按照128M分

合: 按照需求分区

ReduceTask数量取决于分区数量

都是KV的格式

相关推荐
cuisidong19979 分钟前
5G学习笔记三之物理层、数据链路层、RRC层协议
笔记·学习·5g
乌恩大侠11 分钟前
5G周边知识笔记
笔记·5g
Hsu_kk1 小时前
Hive 查询用户连续三天登录的所有记录
数据仓库·hive·hadoop
咔叽布吉1 小时前
【论文阅读笔记】CamoFormer: Masked Separable Attention for Camouflaged Object Detection
论文阅读·笔记·目标检测
johnny2331 小时前
《大模型应用开发极简入门》笔记
笔记·chatgpt
亦枫Leonlew1 小时前
微积分复习笔记 Calculus Volume 1 - 4.7 Applied Optimization Problems
笔记·数学·微积分·1024程序员节
小肥象不是小飞象2 小时前
(六千字心得笔记)零基础C语言入门第八课——函数(上)
c语言·开发语言·笔记·1024程序员节
星LZX2 小时前
WireShark入门学习笔记
笔记·学习·wireshark
努力变厉害的小超超3 小时前
ArkTS中的组件基础、状态管理、样式处理、class语法以及界面渲染
笔记·鸿蒙
kakwooi4 小时前
Hadoop---MapReduce(3)
大数据·hadoop·mapreduce