HDFS Hadoop分布式文件存储系统整体概述

HDFS

整体概述举例:

包括机架 rack1、rack2 包括5个Datanode,一个Namenode(主角色 )带领5个Datanode(从角色 ),每一个rack中包含不同的block模块文件为分块存储模式 。块与块之间通过replication进行副本备份 ,进行冗余存储,Namenode对存储的元数据进行记录 。该架构可以概括为一个抽象统一的目录树结构

  1. 主从架构

    HDFS集群是标准的master/slave主从架构群,一般一个HDFS集群有一个Namenode和一定数目的Datanode组成,Namenode是HDFS主节点(维护元数据),Datanode(管理数据块)是HDFS从节点,两种角色共同完成分布式文件的存储服务。

  2. 分块存储

    HDFS中文件在物理上是分块存储的,每一块默认大小是128M,不足128M则自身为一块。

    块的大小可以通过配置参数来规定,位于hdfs-default.xml中,dfs.blocksize。

  3. 副本机制

    文件的每个block都会有副本,副本系数可以在文件创建的时候指定,也可以在之后通过命令改变,副本数量由参数dfs.replication控制,默认数为3,连同本身共三块副本。

  4. 元数据(解释型数据)管理

    HDFS中元数据包括两种类型:

    1)文件自身属性信息:文件名称、权限,修改时间、文件大小、复制因子、数据块大小。

    2)文件块位置映射信息:记录文件块和Datenode之间的映射信息,即哪个块位于哪个节点上。

  5. 抽象目录树(namespace)

    即传统的层次文件组织结构。用户可以创建目录,然后将文件保存在目录中,Namenode负责维护文件系统的namespace名称空间,任何对文件系统名称空间或属性的修改都将被Namenode记录下。

  6. 数据块存储

    文件各个block的具体存储管理由DataNode节点承担,每一个block都可以在多个DataNode上存储。

常用操作

文件系统的shell命令 hadoop fs [generic options]

hadoop fs -ls file:/// #操作本地文件系统

hadoop fs -ls hdfs://node1:8020/ #操作HDFS分布文件系统

hadoop fs -ls / #直接根目录,没有指定协议,将加载读取fs.defaultFS

​ 2.创建文件夹 hadoop fs -mkdir [-p] ... (-p 沿着路径创建父目录)

​ 3.查看指定目录下内容 hadoop fs -ls [-h] [-R] [ ...] (path 指定目录路径、-h 人性化显示文件size、 -R递归查看指定目录及其子目录)

​ 4.上传文件到HDFS指定目录下 hadoop fs -put [-f] [-p] ... ( -f覆盖目标文件【已经存在下】,-p保留访问和修改时间,所有权和权限,localsrc本地文件系统, dst目标文件系统)

​ 5.查看HDFS文件内容 hadoop fs -cat ... 读取指定文件全部内容,显示在标准输出控制台。

​ 6.下载HDFS文件 hadoop fs -get [-f] [-p] ... (下载文件到本地文件系统指定目录, localdst必须是目录, -f 覆盖目标文件 -p保留访问和修改时间,所有权和权限)

​ 7.拷贝HDFS文件 hadoop fs -cp [-f] ...(-f 覆盖目标文件)

​ 8.追加数据到HDFS文件中 hadoop fs -appendToFile ...(将所有给定本地文件的内容追加到给定dst文件,dst如果不存在,将创建该文件)

工作流程

  1. 管道传输
  2. ACK校验
  3. 副本原则
相关推荐
七夜zippoe3 小时前
事务方案选型全景图:金融与电商场景的实战差异与落地指南
java·分布式·事务
在未来等你7 小时前
Kafka面试精讲 Day 12:副本同步与数据一致性
大数据·分布式·面试·kafka·消息队列
蒋士峰DBA修行之路9 小时前
实验九 合理定义分布列实现性能优化-分布式聚集
分布式
IT毕设梦工厂9 小时前
大数据毕业设计选题推荐-基于大数据的国家医用消耗选品采集数据可视化分析系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·信息可视化·spark·毕业设计·数据可视化·bigdata
echoyu.9 小时前
消息队列-kafka完结
java·分布式·kafka
core5129 小时前
Hive实战(一)
数据仓库·hive·hadoop·架构·实战·配置·场景
七夜zippoe9 小时前
分布式事务性能优化:从故障现场到方案落地的实战手记(二)
java·分布式·性能优化
胚芽鞘68112 小时前
我对rabbitmq的理解(第一次)
分布式·rabbitmq
KIDAKN12 小时前
RabbitMQ 幂等性, 顺序性 和 消息积压
分布式·rabbitmq
Pure031912 小时前
Kafka 零拷贝总结
分布式·kafka