Hdfs3.x新特性详解

作者：九月

HDFS Disk Balancer(磁盘均衡器)

HDFS Disk Balancer与HDFS Balancer的区别

两者都是实现负载均衡功能。

HDFS Balancer是之前Hadoop2.x中本身存在的，主要是多个DataNode节点之间的数据的平衡。

HDFS Disk Balancer是Hadoop3中新出现的，主要是为了DataNode节点内部的磁盘的负载均衡，一个DataNode节点中包含多个磁盘，如果一个磁盘数据比较多，HDFS Disk Balancer就会将这个磁盘中的数据进行迁移，迁移到datanode别的磁盘中。

HDFS Disk Balancer功能

数据传播报告、磁盘平衡，主要是根据卷（磁盘）平衡密度和节点平衡密度（越低越好）进行磁盘平衡。

HDFS Disk Balancer相关操作

Hadoop3中默认开启disk balancer ，可以从hdfs-site.xml中配置dfs.disk.balancer.enabled参数值进行选择是否开启该功能。

plan计划
hdfs diskbalancer -plan <datanode>
execute执行:针对为其生成执行计划的datanode
hdfs diskbalancer -execute <Json file path>
query查询:从运行计划的datanode获取磁盘平衡器的当前状态
hdfs diskbalancer -query <datanode>
cancel取消：取消运行计划
hdfs diskbalancer -cancel <Json file path>
hdfs diskbalancer -cancel planid node <nodename>
report汇报：
hdfs diskbalancer -fs hdfs路径 -report

HDFS Erasure Coding(纠删码)

产生背景：3副本策略引起的磁盘和网络带宽的消耗

Erasure Coding：是一种编码容错技术，最早开始用于通信行业数据传输中的数据恢复，通过对数据分块，计算出校验数据，使每个部分的数据产生关联性，当一部分数据块丢失时，可以利用数据块和校验块反向推算出丢失的数据块。

原理：

HDFS Erasure Coding架构

为了支持纠删码，HDFS做了一些架构上的调整。

namenode扩展

条带化管理，即hdfs文件在逻辑上由block group（块组）管理，每个块组包含一定数量的block数。

客户端扩展

客户端读写路径得到增强，可以并行处理块组中的多个内部块。

datanode扩展

old:datanode向namenode定时反馈数据block的信息，namenode汇总后，和记录的信息进行对比，有缺失的进行调整补充。

new:datanode运行一个附加的ErasureCodingWorker（ECWorker）的任务,对失败的纠删编码块进行后台恢复，namenode检测到EC块后，任意选择datanode进行恢复。

纠删码策略

Intel ISA-L

为了更好的支持EC，在硬件上作出的优化

HDFS Erasure Coding部署

1、首先考虑cpu、带宽和机架数量这些集群硬件配置。

2、设置纠删码策略：纠删码策略参数dfs.namenode.ec.system.default.policy指定，默认是RS-6-3-1024K,其他策略是禁用的，可以通过hdfs ec -enablePolicy -policy 命令启动策略。

3、启用英特尔ISA-L（智能存储加速库）

4、EC命令

hdfs ec命令

cdh6.0.1中涉及到erasure coding的页面参数配置

更多技术信息请查看云掣官网https://yunche.pro/?t=yrgw