文章目录
（40）HDFS产生的背景和定义
随着实际生产环境中的数据越来越大，在一台服务器上无法存储下所有的数据，那么就要把数据分散到多台服务器的磁盘里存放。但是像这样做跨服务器的数据管理和维护是很难的，所以就迫切需要一种方式，来协调管理多台机器上的文件，这就是分布式文件管理系统。
HDFS就是最有名气的一种分布式文件管理系统，除此之外还有Google的GFS、淘宝自研的TFS等。
HDFS（Hadoop Distributed File System），就是分布式文件管理系统的一种，它本质上是一个文件系统。
它可以分布式的（在多台服务器节点上），以目录树的形式来存储和定位文件。
跟windows的NTFS文件系统是一样的。
HDFS的使用场景：适合一次写入，多次读出的场景。如果是需要频繁update的场景，其实是不适合HDFS。当然，只是不适合，不是不能用，完全可以用delete + 重新insert的方式，来实现update。
（41）HDFS的优缺点
HDFS的优点：
1） 高容错性
- 自动保存多个副本（多个节点保存多个副本）
- 副本丢失后，可以自动恢复
2） 适合处理大数据（只要资源够，处理上限很高）
- 能够处理PB级别的数据；
- 文件数量，百万级以上；
3） 可以构建在廉价的机器上，通过多副本机制，提高可靠性。
HDFS的缺点：
1） 低延时数据访问不合适，毫秒级存储数据，那是不可能的；
2）无法高效的存储大量的小文件：
- 小文件会占用NameNode大量的内存来存储文件目录和块信息。每个文件都要在NameNode中创建一个保存元数据的地方（索引），这个大小是固定的，150byte，即使是小文件也是，所以大量小文件很容易就把NameNode占满。
- 小文件过多的话，寻址时间会超过读取时间，违反HDFS的设计目标；
3） 不支持并发写入、文件随机修改
- 一个文件只能有一个写，不允许多线程一起写；
- 仅支持数据的追加，不支持随机修改；
（42）HDFS组成架构
HDFS里主要涉及4个组件：
- NameNode
- DataNode
- Client
- SecondaryNameNode
1）NameNode（NN），是HDFS里的Master，管理者，主要作用：
- 管理HDFS的名称空间
- 配置副本策略
- 管理数据块（block）的映射信息（可以理解成目录），默认情况下，一个文件块是128M，一条目录信息（一个文件块的元数据）是150Byte；
- 处理客户端读写请求；
2）DataNode，就是Slave。NameNode负责下命令，DataNode负责实际执行。
- 存储实际的数据块；
- 执行数据块的读写操作；
3）Client，就是客户端
- 文件切分。文件在上传HDFS的时候，Client将文件切分成一个一个的块。这个块的大小，是由NameNode规定的，默认情况下，NN规定一个文件块是128M，企业中通常使用128M或者256M。
- 与NameNode交互，获取文件位置信息；
- 与DataNode交互，读写数据；
- 可以提供一些命令来管理HDFS，比如NN格式化；
- 可以提供命令来访问HDFS，执行增删改查；
4）Secondary NameNode，即2NN，并非是NameNode的热备份，当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务。所以实际工作中，一般不会用2NN来做容灾，而是采用NameNode的高可用模式。
- 辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode；
- 在紧急情况下，可以辅助恢复NameNode，但并不完全一致，NN始终保留有2NN所不知道的信息（非实时同步）；
这里的紧急恢复，其实就是把2NN里保存的Fsimage和Edits复制到NameNode下，但毕竟有版本差。
（43）HDFS文件块大小（面试重点）
HDFS中的文件在物理上是分块（Block）储存的，块的大小可以通过参数dfs.blocksize来规定，可以在hdfs-default.xml中查看这个参数。
Hadoop1.x中块的默认大小是64M，而2.x和3.x版本中是128M。
这个blocksize代表着块的最大大小，如果数据只有1KB，那形成的块也只有1KB。
有几个时间的概念需要介绍下：
-
寻址时间：即查找到目标block的时间；
-
传输时间：数据拷贝或者写入的时间。
一般来讲，寻址时间为传输时间的1%时，整个过程是最佳状态。至于为什么，不知道，教程说是专家说的。
比如说，寻址时间为10ms，则传输时间为1s时，整个过程处于最佳状态。
传输时间主要依赖于磁盘的传输速率，目前普通磁盘的传输速率普遍为100MB/s，固态的话，可能能达到200M~300M。
所以这里有个讲究，磁盘的传输速率，对块大小的设置其实是有影响的，比如说这里，普通磁盘是100MB/s，为了实现1s左右的传输时间，blocksize一般设置为128M；如果是固态磁盘200M~300M，blocksize一般设置为256M。
据教程里介绍，128M和256M是目前企业中的主流块大小，一般中小型企业用128M，大型企业会采用256M。
那为什么块的大小，不能设置的太小，也不能设置的太大呢？
在源数据大小一定的情况下
- 如果HDFS的块设置的太小：
会增加寻址时间，程序会花很长的时间在找块的开始位置上。
- 如果块大小设置的太大：
极端点，比如说所有数据都在一个块里，定位块的时间是降低了，但是针对这块数据的磁盘IO会明显变大，极大影响数据处理的速度。因为这样子失去了并行处理的优势，改成串行处理了。
按我理解就是，以前可以多个进程读多个块，现在是只有一个块，只能一个进程，肯定很慢，hdfs的分块也失去了意义。
总结：HDFS块的大小主要取决于磁盘的传输速率。所以说磁盘IO才是制约速度的那块短板。