Hive进阶(1)----HDFS写入数据流程(赋图助君理解)

HDFS写入数据流程

1.理论流程描述

HDFS(Hadoop分布式文件系统)的数据写入流程是一个复杂但高效的过程,可以分为以下8个步骤:

1、client(客户端)发起文件上传请求;

2、通过发送RPC请求与NameNode建立通讯。NameNode进行检查其中包括:目标文件是否已存在、父目录是否存在、返回是否可以上传;

2、client请求第一个 block该传输到哪些DataNode服务器上;

3、NameNode根据配置文件中指定的备份数量及副本放置策略进行文件分配,返回可用的DataNode的地址,如:Node1,Node2,Node3;

4、 client调用read方法来进行对文档数据的读取。

5、每次从文件中读取一个packet(64k)大小的数据,临时存储在内存之中。

6、将每次读取的packet数据写入到datanode的块中(从block0开始依次往里面存储),直至写满此块。client请求3台DataNode中的一台(假如ND1),上传数据。

7、执行三副本机制,将block中数据分别向另外两台服务器进行存储备份。

8、当第一个块数据写入完成,进入第课块数据写入请求,也就是重新进行第二步操作

2.图形化流程展示

相关推荐
鲨莎分不晴2 小时前
大数据的“数字金库”:HDFS 核心原理与操作指令全解
大数据·hadoop·hdfs
鲨莎分不晴2 小时前
给 Hadoop 插上 SQL 的翅膀:Apache Hive 架构与实战全解
hadoop·sql·apache
德彪稳坐倒骑驴2 小时前
Hive电商数据分析项目 过程记录
hive·hadoop·数据分析
红队it2 小时前
【Spark+Hadoop】基于spark+hadoop游戏评论数据分析可视化大屏(完整系统源码+数据库+开发笔记+详细部署教程+虚拟机分布式启动教程)✅
大数据·hadoop·分布式·算法·游戏·数据分析·spark
yumgpkpm3 小时前
华为 GaussDB 商业版(本地部署)部署方案及相关步骤
hive·hadoop·redis·elasticsearch·华为·kafka·gaussdb
独自归家的兔3 小时前
Ambari与Bigtop深度解析:大数据集群管理与生态标准化利器
大数据·hadoop·ambari
俊哥大数据3 小时前
【项目8】基于Hadoop+Hive+SpringBoot+Vue智慧社区大数据仓库项目
数据仓库·hive·hadoop
默默在路上3 小时前
CentOS Stream 9 安装hadoop单机伪分布式模式
大数据·hadoop·分布式
鲨莎分不晴6 小时前
大数据基石深度解析:系统性读懂 Hadoop 与 ZooKeeper
大数据·hadoop·zookeeper
德彪稳坐倒骑驴1 天前
Sqoop入门常用命令
数据库·hadoop·sqoop