HDFS面试(自己学习版)

1.简单问题

1. HDFS的优点?

  • 处理大数据
  • 容易扩展,直接加服务器
  • 高容错,多副本
  • 低要求 不需要优秀的服务器(负载均衡)

2.HDFS的缺点?

  • 不适应实时 , 修改速率相对较慢(只能追加)
  • 无法对小数据进行大量的存储,因为NN的容量是一定的,
  • 不支持并发写入,文件随机修改:同时只能一个线程对文件进行写操作 ,只能追加写

3.说说HDFS的结构

  • NN(NameNode) 存储元数据和目录,处理客户端的读写请求
  • DN(DataNode) 存储数据块和校验和,执行数据块的读写操作
  • S NN 备份NN,对元数据进行更新操作(滚动日志+fsimage)
  • 客户端:自己将文件切割称相应的块,然后上传。 与NN进行交互获取块。与DN进行交互,执行操作。

4.HDFS文件块大小设定

与寻址时间有关:默认寻址时间为传输时间的百分之一为最优

假设10ms找到目标,

10ms/0.01 = 1s

1s*磁盘传输速率就是块大小

默认是128

5.为什么块不能太大,也不能太小

大:设置太大,磁盘传输时间明显大于定位块的时间,因为块大了,块总数就相对少了,寻址时间相对少很多,而块过大,磁盘传输时间变大。

小:块总数变多,寻址时间增大了。

2.读写解析

1.HDFS是怎么进行写操作的?

  • 客户端向NN发起请求(要传入目标路径),请求上传(因为要判断是否有权限上传)
  • NN收到请求并校验(校验目标路径和权限z`),回应说可以上传
  • 客户端请求上传第一个块,要求返回DN(注意块是一个一个上传的)
  • NN收到,发送3个DN(根据备份个数)
  • 客户端先和3个DN进行交互,检测是否连接成功
  • DN返回应答
  • 客户端对DN串行发送块数据,并行保存。(C->D1->D2->D3)

2.读操作

  • 客户端向NN发送请求要求读数据(下载)
  • NN回应,将元数据发送过去
  • 客户端向DN请求块(优先级是就近原则,但是也是并行读)
  • DN发送数据给客户端(以packet为单位校验)
  • 客户端以packet为单位接收,先在本地缓存,然后写入文件
相关推荐
Janspran32 分钟前
嵌入式linux学习 -- 进程和线程
linux·运维·学习
rannn_1112 小时前
【Javaweb学习|黑马笔记|Day1】初识,入门网页,HTML-CSS|常见的标签和样式|标题排版和样式、正文排版和样式
css·后端·学习·html·javaweb
lingggggaaaa3 小时前
小迪安全v2023学习笔记(六十一讲)—— 持续更新中
笔记·学习·安全·web安全·网络安全·反序列化
不太可爱的叶某人4 小时前
【学习笔记】Java并发编程的艺术——第6章 Java并发容器和框架
java·笔记·学习
dessler5 小时前
Hadoop HDFS-部署和基本操作
linux·运维·hdfs
yi.Ist5 小时前
图论——Djikstra最短路
数据结构·学习·算法·图论·好难
计算机源码社7 小时前
分享一个基于Hadoop的二手房销售签约数据分析与可视化系统,基于Python可视化的二手房销售数据分析平台
大数据·hadoop·python·数据分析·毕业设计项目·毕业设计源码·计算机毕设选题
诗书画唱7 小时前
学习笔记与效率提升指南:编程、记忆与面试备考
笔记·学习·面试
计算机毕设残哥8 小时前
完整技术栈分享:基于Hadoop+Spark的在线教育投融资大数据可视化分析系统
大数据·hadoop·python·信息可视化·spark·计算机毕设·计算机毕业设计
似乎很简单8 小时前
【opencv-Python学习笔记(5):几何变换】
笔记·opencv·学习