云计算导论(3)---分布式文件系统

文章目录

  • [1. 概述](#1. 概述)
  • [2. 基本架构](#2. 基本架构)
  • [3. GFS和HDFS](#3. GFS和HDFS)
  • [4. 云存储](#4. 云存储)

1. 概述

1. 文件系统是操作系统用来组织磁盘文件的方法和数据结构。

传统的文件系统指各种UNIX平台的文件系统,包括UFS等,它们管理本地的磁盘存储资源,提供文件到存储位置的映射,并抽象出一套文件访问接口供用户使用。通常包含的四类信息:超级块、Inode、文件内容、目录内容。

2. 分布式文件系统定义:分布式文件系统是一个可以存储、管理和检索文件、目录和对象的系统,它通过网络连接不同的机器,提供文件共享的接口,可以实现对文件的远程访问和同步。

特点:分布式文件系统具有可靠性、容错性和可扩展性等特点。它可以通过数据备份和恢复、节点复制和日志等技术,保证数据的安全性和可靠性。

3. 实现分布式文件系统一般有两种方法:共享文件系统和共享磁盘。

4. 常见的有:全局文件系统(GFS)、Hadoop分布式文件系统(HDFS)。

2. 基本架构

1. 分布式文件系统的典型架构,其中重要的服务器包括:主控服务器、数据服务器和客户服务器。

2. 主控服务器:负责整个文件系统的管理,包括命名空间的维护、数据服务器管理、服务调度等。

主要的功能有:命名空间的维护、数据服务器管理、服务调度、主备容灾。

3. 数据服务器:负责数据的存储和备份,包括数据本地存储、状态维护、副本管理等。

主要的功能有:数据本地存储、状态维护、副本管理。

4. 客户服务器:为用户提供文件读写、目录操作等APIs,处理用户请求并返回结果。

主要的功能有:接口设计、缓存管理、错误处理和恢复

3. GFS和HDFS

1. GFS集成了持续的监控、错误侦测、灾难冗余以及自动恢复的机制。一个文件块的大小是64M。绝大部分的大数据都是采用在文件尾部追加数据的方式。

2. GFS特点:控制流和数据流的分离、降低master的负载、性能提高、在用户态下实现。

3. HDFS的架构相对简单,它包括一个主节点(NameNode)和多个数据节点(DataNode),主节点负责管理和维护文件系统的元数据,数据节点则负责存储数据。

4. HDFS默认的最基本的存储单位是64M的数据块,这个数据块可以理解和一般的文件里面的分块是一样的。不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。

5. HDFS优点:处理超大文件;流式地访问数据;运行与廉价的商用机器集群。缺点:不适合低延迟数据访问;流式地访问数据;无法高效存储大量小文件;不支持多用户写入及任意修改文件。

6. ZooKeeper是Hadoop 的正式子项目,它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。

7. ZooKeeper扮演的角色:领导者、学习者(跟随者和观察者)。

4. 云存储

1. 云存储是一种基于云计算技术的数据存储服务,通过网络将大量数据存储在远程的数据中心,用户可以随时随地通过互联网进行数据的访问和管理。

2. 按部署方式分类:公有云存储、私有云存储、混合云存储。

按服务模式分类:文件存储、块存储、对象存储。

按数据归属权分类:个人云存储、企业云存储、块存储、文件存储、对象存储。

相关推荐
马里马里奥-9 小时前
在Windows系统部署本地智能问答系统:基于百度云API完整教程
windows·云计算·百度云
来自于狂人9 天前
速通Ceph分布式存储(含超详细图解)
云计算
云宏信息10 天前
金融vmware替换过程中关于利旧纳管、迁移、数据安全容灾备份、成本及案例|金融行业数字化QA合集④
大数据·运维·服务器·科技·金融·云计算
成都极云科技10 天前
如何选择适合的服务器托管方案以优化网站性能:提升速度与稳定性的关键决策
运维·服务器·人工智能·云计算·gpu算力
小猴崽10 天前
腾讯云轻量数据库:性能与成本优化的新一代数据解决方案
数据库·云计算·腾讯云
编程乐学(Arfan开发工程师)10 天前
74、单元测试-前置条件
redis·python·阿里云·单元测试·云计算·bootstrap
Ultipa10 天前
数据驱动 AI 时代:数据库行业的技术跃迁与生态重构
大数据·数据库·人工智能·重构·云计算·图数据库
忘记安全带10 天前
AWS EC2使用SSM会话管理器连接
服务器·网络·自动化·云计算·aws
来自于狂人10 天前
速通KVM(云计算学习指南)
云计算
云资源服务商10 天前
阿里云无影:开启云端办公娱乐新时代
阿里云·云计算