Hive进阶(1)----HDFS写入数据流程(赋图助君理解)

HDFS写入数据流程

1.理论流程描述

HDFS(Hadoop分布式文件系统)的数据写入流程是一个复杂但高效的过程,可以分为以下8个步骤:

1、client(客户端)发起文件上传请求;

2、通过发送RPC请求与NameNode建立通讯。NameNode进行检查其中包括:目标文件是否已存在、父目录是否存在、返回是否可以上传;

2、client请求第一个 block该传输到哪些DataNode服务器上;

3、NameNode根据配置文件中指定的备份数量及副本放置策略进行文件分配,返回可用的DataNode的地址,如:Node1,Node2,Node3;

4、 client调用read方法来进行对文档数据的读取。

5、每次从文件中读取一个packet(64k)大小的数据,临时存储在内存之中。

6、将每次读取的packet数据写入到datanode的块中(从block0开始依次往里面存储),直至写满此块。client请求3台DataNode中的一台(假如ND1),上传数据。

7、执行三副本机制,将block中数据分别向另外两台服务器进行存储备份。

8、当第一个块数据写入完成,进入第课块数据写入请求,也就是重新进行第二步操作

2.图形化流程展示

相关推荐
计算机毕业编程指导师4 小时前
【计算机毕设推荐】Python+Spark卵巢癌风险数据可视化系统完整实现 毕业设计 选题推荐 毕设选题 数据分析 机器学习 数据挖掘
hadoop·python·计算机·数据挖掘·spark·毕业设计·卵巢癌
极光代码工作室5 小时前
基于大数据的校园消费行为分析系统
大数据·hadoop·python·数据分析·spark
二十六画生的博客1 天前
每个subtask都提交一份快照到hdfs,会把10个小的快照合并成一个大的吗?谁来合并?
大数据·hadoop·hdfs·flink
隐于花海,等待花开1 天前
41.ABS / POW / SQRT 函数深度解析
大数据·hive
千月落1 天前
HDFS数据迁移
大数据·hadoop·hdfs
隐于花海,等待花开2 天前
40.RAND 函数深度解析
hive·hadoop
孤雪心殇3 天前
快速上手数仓基础知识
数据仓库·hive·spark
隐于花海,等待花开3 天前
39.ROUND / FLOOR / CEIL 函数深度解析
hive·hadoop
看海的四叔4 天前
【SQL】SQL-管好你的字符串
大数据·数据库·hive·sql·数据分析·字符串
坚持就完事了4 天前
YARN资源管理器
大数据·linux·hadoop·学习