HDFS中snapshot快照机制
介绍
- snapshot是数据存储的某一时刻的状态记录，备份（backup）则是数据存储的某一个时刻的副本
- HDFS snapshot快照是整个文件系统或某个目录在某个时刻的镜像，该镜像并不会随着源目录的改变而进行动态的更新
作用
- 数据恢复
对重要的目录进行创建snapshot的操作，当用户误操作时，可以通过snapshot来进行相关的恢复操组 - 数据备份
使用snapshot来进行整个集群，或者某些目录，文件的备份。管理员以某个时刻的snapshot作为备份的起始节点，然后通过表不同备份之间的差异性，来进行备份增量。 - 数据测试
在某些重要数据上进行测试或者实验，可能会直接将原始的数据破坏掉。可以临时的为用户针对操作的数据来创建一个snapshot，然后让用户在对应的snapshot上进行相关的实验恶化测试，从而避免对原始数据的破坏
功能实现
- HDFS快照不是数据的简单拷贝，只做差异的记录
- 对于大多不变的数据，所看到的数据其实是当前物理路径所指的内容，而发生变更的inode数据才会被快照而外拷贝，也就是所说的差异拷贝
- inode指索引节点，用来存放文件及目录的基本信息，包含时间，名称，拥有者，所在组等
- HDFS快照不会复制datanode中的块，只记录块列表和文件的大小
- HDFS快照不会对常规HDFS操作产生不利影响，修改记录按逆时针顺序进行，因此可以直接访问当前数据。通过从当前数据中减去修改来计算快照数据
相关命令和操作
-
HDFS中可以针对整个文件系统或者某个目录创建快照，但是前提是相应的目录开启快照功能
-
如果针对没有启动快照功能的目录创建快照则会报错
-
HDFS中可以针对已经开启快照功能的目录进行禁用快照功能的设置
-
禁用的前提是该目录所有的快照已经被删除
启用快照功能
hdfs dfsadmin -allowSnapshot .allenwoon
禁用快照功能
hdfs dfsadmin -disadminSnapshot /allenwoon
相关命令
