Hive进阶(1)----HDFS写入数据流程(赋图助君理解)

HDFS写入数据流程

1.理论流程描述

HDFS(Hadoop分布式文件系统)的数据写入流程是一个复杂但高效的过程,可以分为以下8个步骤:

1、client(客户端)发起文件上传请求;

2、通过发送RPC请求与NameNode建立通讯。NameNode进行检查其中包括:目标文件是否已存在、父目录是否存在、返回是否可以上传;

2、client请求第一个 block该传输到哪些DataNode服务器上;

3、NameNode根据配置文件中指定的备份数量及副本放置策略进行文件分配,返回可用的DataNode的地址,如:Node1,Node2,Node3;

4、 client调用read方法来进行对文档数据的读取。

5、每次从文件中读取一个packet(64k)大小的数据,临时存储在内存之中。

6、将每次读取的packet数据写入到datanode的块中(从block0开始依次往里面存储),直至写满此块。client请求3台DataNode中的一台(假如ND1),上传数据。

7、执行三副本机制,将block中数据分别向另外两台服务器进行存储备份。

8、当第一个块数据写入完成,进入第课块数据写入请求,也就是重新进行第二步操作

2.图形化流程展示

相关推荐
武子康19 小时前
大数据-261 实时数仓-建设指南:从架构设计到业务落地 交易订单、订单产品、产品分类、商家店铺、地域组织表
大数据·hadoop·后端
J2虾虾2 天前
Hadoop入门
大数据·hadoop·分布式
橘子编程3 天前
Hive大数据实战指南:从入门到精通
大数据·hive·hadoop
仗剑_走天涯3 天前
hadoop 执行mr任务出现找不到主类或无法加载主类解决方案
hadoop·mr
橘子编程3 天前
Apache Hadoop知识全解析
大数据·hive·hadoop·apache
dovens3 天前
Spring Boot 从 2.7.x 升级到 3.3注意事项
数据库·hive·spring boot
顧棟3 天前
HDFS2.X升级3.X案例与相关Issue
大数据·hadoop·hdfs
小跘an吻纸4 天前
linux系统搭建hadoop环境
linux·运维·hadoop
源码之家4 天前
计算机毕业设计:Python汽车销量智能分析与预测系统 Flask框架 scikit-learn 可视化 requests爬虫 AI 大模型(建议收藏)✅
人工智能·hadoop·python·算法·数据分析·flask·课程设计
极光代码工作室4 天前
基于Spark的用户行为分析系统设计
大数据·hadoop·python·数据分析·数据可视化