【Hadoop|HDFS篇】NameNode和SecondaryNameNode

1. NN和2NN的工作机制

思考:NameNode中的元数据是存储在哪里的?

首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访

问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在

内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的
Fslmage

这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsImage,就会导

致效率过低,但如果不更新,就会发生一致性问题,一旦NameNode节点断电,就会产生数

据丢失。因此,引入 Edits文件(只进行追加操作,效率很高) 。每当元数据有更新或者添

加元数据时,修改内存中的元数据并追加到Edits 中。这样,一旦NameNode 节点断电,可

以通过 FsImage 和 Edits 的合并,合成元数据。

工作机制图解:

2. Fsimage文件解析

NameNode被格式化以后,将在如下目录产生一些文件。

bash 复制代码
[hexuan@hadoop102 current]$ ll
总用量 4128
-rw-rw-r--. 1 hexuan hexuan      42 9月   2 17:12 edits_0000000000000000001-0000000000000000002
-rw-rw-r--. 1 hexuan hexuan 1048576 9月   2 17:22 edits_0000000000000000003-0000000000000000010
-rw-rw-r--. 1 hexuan hexuan 1048576 9月   2 22:52 edits_0000000000000000011-0000000000000000138
-rw-rw-r--. 1 hexuan hexuan      42 9月   2 23:29 edits_0000000000000000139-0000000000000000140
-rw-rw-r--. 1 hexuan hexuan 1048576 9月   2 23:29 edits_0000000000000000141-0000000000000000141
-rw-rw-r--. 1 hexuan hexuan 1048576 9月   6 16:22 edits_inprogress_0000000000000000142
-rw-rw-r--. 1 hexuan hexuan    1737 9月   2 23:29 fsimage_0000000000000000140
-rw-rw-r--. 1 hexuan hexuan      62 9月   2 23:29 fsimage_0000000000000000140.md5
-rw-rw-r--. 1 hexuan hexuan    1707 9月   3 17:22 fsimage_0000000000000000141
-rw-rw-r--. 1 hexuan hexuan      62 9月   3 17:22 fsimage_0000000000000000141.md5
-rw-rw-r--. 1 hexuan hexuan       4 9月   3 17:22 seen_txid
-rw-rw-r--. 1 hexuan hexuan     219 9月   3 17:22 VERSION
[hexuan@hadoop102 current]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/name/current
  • Fsimage文件:HDFS文件系统元数据的永久性的检查点,其中包含了HDFS文件系统的所有目录和文件inode的序列化信息。
  • Edits文件:存放HDFS文件系统的所有更新操作的路径,文件系统客户端执行的所有写操作首先被记录到Edits文件中。
  • seen_txid文件保存的是一个数字,就是最后一个edits_的数字。
  • 每次NameNode启动的时候都会将Fsimage文件读入内存,加载Edits里面的更新操作,保证内存中的元数据信息是最新的,同步的,可以看成NameNode启动的时候将Fsimage和Edits文件进行了合并。

3. oiv和oev命令

1)查看oiv命令

语法:hdfs oiv -p 文件类型 -i 镜像文件 -o 转换后文件的输出路径

bash 复制代码
[hexuan@hadoop102 current]$ hdfs oiv -p XML -i fsimage_0000000000000000140 -o /opt/module/hadoop-3.1.3/fsimage.xml
2024-09-06 20:13:28,002 INFO offlineImageViewer.FSImageHandler: Loading 4 strings

2)查看oev命令

语法:hdfs oev -p 文件类型 -i 编辑日志 -o 转化后文件的输出路径

4. CheckPoint时间设置

1)通常情况下,SecondaryNameNode每隔一小时执行一次。

2)一分钟检查一次操作次数,当操作次数达到一百万时,SecondaryNameNode执行一次。

相关推荐
PersistJiao5 分钟前
在 Spark RDD 中,sortBy 和 top 算子的各自适用场景
大数据·spark·top·sortby
2301_8112743117 分钟前
大数据基于Spring Boot的化妆品推荐系统的设计与实现
大数据·spring boot·后端
Yz987625 分钟前
hive的存储格式
大数据·数据库·数据仓库·hive·hadoop·数据库开发
青云交25 分钟前
大数据新视界 -- 大数据大厂之 Hive 数据导入:多源数据集成的策略与实战(上)(3/ 30)
大数据·数据清洗·电商数据·数据整合·hive 数据导入·多源数据·影视娱乐数据
武子康28 分钟前
大数据-230 离线数仓 - ODS层的构建 Hive处理 UDF 与 SerDe 处理 与 当前总结
java·大数据·数据仓库·hive·hadoop·sql·hdfs
武子康30 分钟前
大数据-231 离线数仓 - DWS 层、ADS 层的创建 Hive 执行脚本
java·大数据·数据仓库·hive·hadoop·mysql
时差95344 分钟前
Flink Standalone集群模式安装部署
大数据·分布式·flink·部署
锵锵锵锵~蒋1 小时前
实时数据开发 | 怎么通俗理解Flink容错机制,提到的checkpoint、barrier、Savepoint、sink都是什么
大数据·数据仓库·flink·实时数据开发
二进制_博客1 小时前
Flink学习连载文章4-flink中的各种转换操作
大数据·学习·flink
大数据编程之光1 小时前
Flink入门介绍
大数据·flink