HDFS小文件解决方案---archive归档文件命令

小文件解决方案

• • 背景
  • Archive概述
  • 创建archive
  • 查看归档文件
  • • 查看归档之后的样子
    • 查看归档文件之前的样子
  • 提取archive
  • archive注意事项

背景

• hdfs并不擅长存储小文件，因为每个文件最少一个block，每个block的元数据都会在namenode占用内存，如果存在大量的小文件，它们会吃掉namenode大量内存。如下所示，模拟小文件场景：
  

Archive概述

• hadoop archive可以有效地处理以上的问题，它可以把多个文件归档成为一个文件，归档成一个文件后还可以透明的访问每一个文件
  

创建archive

• hdfs dfs -archive -archiveName archive.har /path/to/file.txt /path/to/archive.har
  • -archiveName archive.har: 指定生成的归档文件名为archive.har。扩展名是*.har
  • /path/to/directory/: 要归档的整个目录的路径
  • /path/to/archive/: 归档文件的存储位置。
  • 多个文件进行归档操作的时候可以用：hdfs dfs -archive -archiveName archive.har /path/to/file1.txt /path/to/file2.txt /path/to/archive/
• 注意：archive归档是通过MapReduce程序完成的，需要启动yarn集群
  

查看归档文件

查看归档之后的样子

hadoop fs -ls /outputdir /test.har

这里可以看到har文件包括：两个索引文件，多个part文件（本例只有一个）以及一个标识成功与否的文件。part文件是多个源文件的集合，通过index文件可以去找到源文件

例如上述的三个小文件1.txt，2.txt，3.txt内容分别是1，2，3.进行archive操作之后，三个小文件就归档到test.har里的part-0一个文件里。

查看归档文件之前的样子

• 在查看har文件的时候，如果没有指定访问协议，默认使用hdfs://，此时所能看到的就是归档之后的样子。此外，archive还提供了自己的har uri访问协议。如果用har uri去访问的话，索引，标识等文件就会隐藏起来，只显示创建档案之前的原文件：
• hadoop archives的uri是：

har://scheme-hostname:port/archivepath/fileinarchive
scheme-hostname格式为hdfs-域名：端口

提取archive

按顺序解压存档（串行）：

hadoop fs -cp har:///outputdir/test.har/* /smallfile1
# 要并行解压存档，请使用DisCp，对应大的归档文件可以提高效率：
hadoop distcp har:///outputdir/test.har/* smallfile2

archive注意事项