Hadoop纠删码（Erasure Coding, EC）是通过数学编码降低存储冗余的核心技术，其原理与实现可归纳如下：
一、纠删码基本原理
数据分块与校验计算:将原始数据划分为k个数据单元，通过数学算法（如Reed-Solomon）生成m个校验单元。任意丢失不超过m个单元（包括数据单元或校验单元）时，可通过剩余单元恢复原始数据。
示例：RS(6,3)策略将数据分为6块，生成3个校验块，最多允许3个单元丢失。
容错与恢复逻辑:每个校验单元的计算基于线性代数矩阵运算（如异或操作或伽罗华域乘法）；恢复过程通过解码算法逆向推导丢失单元，依赖剩余数据的线性组合重建丢失内容。
二、HDFS中的纠删码实现
存储策略替换副本机制:默认三副本策略存储效率为33%（300MB文件占用900MB空间），而EC策略（如RS-6-3）存储效率提升至66%（300MB文件占用500MB空间）；
支持多种策略配置，如RS-10-4（10数据块+4校验块）、XOR-2-1（2数据块+1校验块）。
条带化存储：数据按固定大小（如1024KB）切分成条带单元，分散存储至不同DataNode；
编解码操作：客户端或DataNode负责数据编码生成校验块，读取时触发解码恢复。
策略管理命令
hdfs ec -listPolicies：查看当前支持的EC策略；
hdfs ec -setPolicy -path <路径> -policy <策略名>：为指定路径配置EC策略。
硬件依赖：编解码过程需消耗额外CPU资源，可能影响集群性能；
恢复延迟：数据恢复需通过计算完成，相比副本直接读取耗时更长；
兼容性限制：Hadoop 2.x客户端需适配才能支持EC功能。