技术栈
分布式文件系统
妙BOOK言
1 天前
论文阅读
·
元数据
·
分布式文件系统
FalconFS: Distributed File System for Large-Scale Deep Learning Pipeline——论文阅读
NSDI 2026 Paper 分布式元数据论文阅读笔记整理分布式文件系统(DFS)是现代数据中心的重要组成部分。通过在统一的分层目录结构中提供符合POSIX标准的文件接口,DFS实现了对底层存储资源的通用访问,从而简化了存储管理,促进了不同应用程序之间的数据共享[2,35]。
保持学习ing
14 天前
java
·
大数据
·
数据库
·
文件上传
·
minio
·
分布式文件系统
·
文件存储
day4--上传图片、视频
文件系统是负责管理和存储文件的系统软件,操作系统通过文件系统提供的接口去存取文件,用户通过操作系统访问磁盘上的文件。
gs80140
7 个月前
机器学习
·
云原生
·
对象存储
·
大数据分析
·
分布式文件系统
·
juicefs
·
高性能存储
JuiceFS 详解:一款为云原生设计的高性能分布式文件系统
JuiceFS 详解:一款为云原生设计的高性能分布式文件系统JuiceFS(Juiced File System)是一款高性能、POSIX 兼容的云原生分布式文件系统。它采用对象存储作为底层存储,支持多种元数据引擎,如 Redis、MySQL、PostgreSQL 等,通过强大的缓存机制提供快速的数据访问,具有极高的可靠性、弹性和成本效益,广泛应用于大数据分析、机器学习、容器化应用等场景。
yunmoon01
8 个月前
云原生
·
分布式文件系统
一个专为云原生环境设计的高性能分布式文件系统
大家好,今天给大家分享一款开源创新的分布式 POSIX 文件系统JuiceFS,旨在解决海量云存储与各类应用平台(如大数据、机器学习、人工智能等)之间高效对接的问题。
无休居士
1 年前
分布式
·
分布式数据库
·
分布式存储
·
分布式文件系统
·
分布式存储的应用场景
·
集中式存储
【初出江湖】分布式之什么是分布式存储?
分布式存储是一种将数据分散存储在多个节点上的存储方式。与传统的集中式存储相比,分布式存储将数据分布在多个节点上,每个节点都可以独立地存储和访问数据。这种分布式的存储方式可以提供更高的可靠性、可扩展性和性能。
西华彭于晏!
1 年前
java
·
hadoop
·
架构
·
分布式文件系统
物联网架构之Hadoop(分布式文件系统与企业级应用)
冒冒菜菜
1 年前
云计算
·
分布式文件系统
·
课程学习
云计算导论(3)---分布式文件系统
1. 文件系统是操作系统用来组织磁盘文件的方法和数据结构。 传统的文件系统指各种UNIX平台的文件系统,包括UFS等,它们管理本地的磁盘存储资源,提供文件到存储位置的映射,并抽象出一套文件访问接口供用户使用。通常包含的四类信息:超级块、Inode、文件内容、目录内容。
妙BOOK言
1 年前
论文阅读
·
分布式文件系统
Octopus+: An RDMA-Enabled Distributed Persistent Memory File System——泛读笔记
TOS 2021 Paper 分布式元数据论文阅读笔记整理非易失性存储器(NVM)和远程直接存储器访问(RDMA)在存储和网络硬件中提供了极高的性能。然而,现有的分布式文件系统隔离了文件系统和网络层,而且分层的软件设计使得高速硬件没有得到充分利用。
妙BOOK言
1 年前
论文阅读
·
元数据
·
分布式文件系统
Finding a needle in Haystack: Facebook’s photo storage——论文泛读
OSDI 2010 Paper 分布式元数据论文阅读笔记整理到2010年为止,用户已经在Facebook上传了超过650亿张照片,对于每个上传的照片,Facebook生成并存储四个不同大小的图像,导致目前存储了超过2600亿张图片,相当于超过20PB的数据。用户每周上传10亿张新照片(~60TB),Facebook在峰值时每秒提供超过100万张图片。庞大的数据量为图片存储提出了新的挑战。
妙BOOK言
1 年前
论文阅读
·
元数据
·
分布式文件系统
Cassandra - A Decentralized Structured Storage System——论文阅读
SIGOPS 2010 Paper 分布式元数据论文阅读笔记整理Facebook生产环境中,在大量基础设施(数千个组件)上运行的分布式存储系统可能面临各种故障,因此,软件系统需要以一种将故障视为规范而非例外的方式进行构建,如何在这种情况下保证可靠性和可扩展性,同时保证不牺牲读性能下保证高写入吞吐量。
ThinkPet
2 年前
fastdfs
·
分布式文件系统
【面经】谈谈你对FastDFS的了解