Hive进阶(1)----HDFS写入数据流程(赋图助君理解)

HDFS写入数据流程

1.理论流程描述

HDFS(Hadoop分布式文件系统)的数据写入流程是一个复杂但高效的过程,可以分为以下8个步骤:

1、client(客户端)发起文件上传请求;

2、通过发送RPC请求与NameNode建立通讯。NameNode进行检查其中包括:目标文件是否已存在、父目录是否存在、返回是否可以上传;

2、client请求第一个 block该传输到哪些DataNode服务器上;

3、NameNode根据配置文件中指定的备份数量及副本放置策略进行文件分配,返回可用的DataNode的地址,如:Node1,Node2,Node3;

4、 client调用read方法来进行对文档数据的读取。

5、每次从文件中读取一个packet(64k)大小的数据,临时存储在内存之中。

6、将每次读取的packet数据写入到datanode的块中(从block0开始依次往里面存储),直至写满此块。client请求3台DataNode中的一台(假如ND1),上传数据。

7、执行三副本机制,将block中数据分别向另外两台服务器进行存储备份。

8、当第一个块数据写入完成,进入第课块数据写入请求,也就是重新进行第二步操作

2.图形化流程展示

相关推荐
skywalk81636 小时前
hive —— 多机 AI Agent 协同的任务总线:分布式,多节点同时运行,保障不会宕机
人工智能·hive·分布式
棣廷1 天前
初识Hive(2)
数据仓库·hive·hadoop
skywalk81631 天前
deepseek对skywalk163/hive 和hivecommons/hive 两个多机AI Agent任务调度项目的对比
人工智能·hive·agent
father_12272 天前
【ambari管理下hdp2.6.5升级hive1.2.1-2.1.0-2.3.3】
hive·hadoop·ambari
magic_kid_20102 天前
HDFS 故障复盘:千万级 block 导致 FBR 超过 128 MiB,DataNode 被判定为 dead
大数据·hadoop·hdfs·hadoop 故障
小刘在重生~3 天前
Servlet_day2 (上)|Servlet 整合 JDBC|请求转发 forward|Request 作用域
hive·hadoop·servlet
螺蛳粉 螺蛳粉3 天前
CDH第四篇:CDH 元数据库实战:MySQL 5.7.22 二进制安装 + 三库三账号授权全记录
hive·mysql5.7·centos7·元数据·cdh·oozie·数据库部署
chunyublog3 天前
FinalShell 远程连接 Hadoop 三节点集群教程
大数据·hadoop·分布式
爱吃火鸡面呀3 天前
MySQL、ClickHouse、Doris、Hive、Spark SQL、Flink SQL 选型对比:优点、缺点与面试话术
hive·mysql·clickhouse
ha_lydms5 天前
AnalyticDB MySQL 技术架构
大数据·hadoop·mysql·adb·spark·dataworks·1024程序员节