自下而上-存储全栈（TiDB/RockDB/SPDK/fuse/ceph/NVMe/ext4）存储技术专家成长路线

数字化时代的到来带来了大规模数据的产生，各行各业都面临着数据爆炸的挑战。随着云计算、物联网、人工智能等新兴技术的发展，对存储技术的需求也越来越多样化。不同应用场景对存储的容量、性能、可靠性和成本等方面都有不同的要求。具备存储技术知识和技能的人才更具有竞争力。

存储技术专家成长路线

技术点主要运用在存储库架构设计、企业级存储系统、分布式存储系统、云存储系统、分布式数据库、高性能存储引擎、文件系统等领域。

1.接口驱动层

在存储开发中，接口驱动层是指用于访问和操作底层存储系统的软件层。它提供了标准化的接口规范，使应用程序能够对存储设备进行读取、写入、管理和配置等操作。

NVMe（Non-Volatile Memory Express 是一种高性能、低延迟的存储接口协议，专门为固态硬盘（SSD）设计而开发的。）
SATA（Serial Advanced Technology Attachment 是一种串行的计算机总线接口，广泛应用于存储设备、光驱、显卡等各种计算机硬件中。在存储开发中的作用是提供基本的存储接口、提供高带宽传输、兼容性强和价格低廉。）
SCSi（Small Computer System Interface 是一种用于计算机和外部设备间进行数据传输的接口标准。提供高性能数据传输，支持多设备连接，提供高可靠性和冗余性，并具有高度灵活性。）
RDMA（Remote Direct Memory Access 是一种数据传输机制，允许两个计算机在不使用CPU的情况下直接从彼此的内存中读取和写入数据。在存储开发中的作用是降低延迟、提高吞吐量，提升存储性能，增强可靠性和数据完整性，并简化存储网络架构。）

2.内核层

内核层通常指的是存储软件的核心组成部分，即负责实现存储系统的基本功能和服务的程序模块。内核层通常包含多个子模块，例如文件系统、卷管理、快照、克隆、数据保护和恢复等，这些子模块共同构成了存储系统的核心。

ext4（第四扩展文件系统，是Linux操作系统中常用的一种文件系统。学习ext4文件系统可以帮助存储开发人员更好地理解和应用文件系统相关的技术和原理，从而提升存储系统的性能、可靠性和扩展性。）
xfs（XFS是一种高性能的文件系统，学习XFS可以帮助理解和应用高性能、大规模数据管理、可靠性和扩展性等方面的知识）
btrfs（Btrfs是一种先进的Linux文件系统，它的全称是B-tree file system。Btrfs采用了许多先进的技术，如快照、校验和、多设备支持等，可以提供出色的性能、可靠性和灵活性。学习Btrfs可以帮助掌握先进的存储技术、理解大规模数据管理、实现快照和备份、保护数据完整性等方面的知识。这些都是构建高效、可靠的存储系统所必需的技能和知识。）
procfs（procfs是一个虚拟的文件系统，用于提供有关系统和进程状态的动态信息。学习procfs可以更好地理解和管理存储系统。）
tracefs（tracefs是一个用于跟踪和调试内核的文件系统。它提供了一种方便的机制来跟踪和调试内核函数的执行流程和性能数据，可以帮助存储开发人员解决内核相关的问题、优化存储系统的性能，并验证功能的正确性。）
项目:无存储文件系统Kingfs
项目: nvme文件系统zerofs

3.vfs

VFS（Virtual File System，虚拟文件系统）是一个抽象层，用于在操作系统中统一管理不同的文件系统类型和访问方式。它是操作系统内核中的一部分，提供了对文件和文件系统的抽象接口，使得应用程序可以通过统一的方式来访问各种不同类型的文件系统。

学习VFS可以帮助理解和支持多种文件系统类型，简化文件系统与存储系统的交互方式，优化文件系统的性能，以及调试和开发文件系统。

io_uring

io_uring 是一个 Linux 内核提供的异步 I/O 框架，它旨在提供高性能和低延迟的 I/O 操作。io_uring 的设计目标是为用户空间程序提供一种高效的异步 I/O 接口，以取代传统的阻塞式 I/O 和其他异步 I/O 接口的局限性。

通过使用 io_uring，开发人员可以利用其高性能、低延迟和异步并行的特性来优化应用程序的 I/O 操作。它适用于需要处理大量 I/O 的场景，例如数据库、文件服务器、网络服务器等。同时，io_uring 的设计和接口相对简洁，易于使用和理解，使开发人员能够更容易地编写高效的异步 I/O 程序。

io_uring异步io
cq与sq的运行原理
无锁队列
io_uring的setup/enter/register
liburing的开发库
liburing接口与psync接口的关系
内存映射IO (mmap)
零拷贝
psync与io_uring的iops性能对比
io_uring与epoll的qps对比
项目：实现tcp+io_uring

fuse

FUSE（Filesystem in Userspace）是一个在用户空间实现文件系统的框架。它允许开发人员通过编写用户空间程序来创建自定义的文件系统，而无需修改操作系统内核。

帮助理解实现灵活的存储系统、定制化的数据管理逻辑，掌握文件系统操作和性能优化的技巧，并具备跨平台开发的能力。

fuse的运行原理
fuse内核模块
libfuse的开发库
fuse_operation结构体分析
实现fuse文件系统
项目：fuse与opencv实现图片加水印

4.SPDK

SPDK（Storage Performance Development Kit）是一个用于构建高性能存储应用程序的开源软件开发工具包。它专注于利用现代硬件和存储技术的特性，以最大化存储应用程序的性能。

SPDK 提供了一组库、驱动程序和工具，帮助开发人员构建低延迟、高吞吐量的存储应用程序。

SPDK 主要用于构建高性能存储应用程序，如存储控制器、分布式存储系统、虚拟化存储、数据库存储引擎等。

学习SPDK帮助你构建高性能存储应用程序，理解和应用用户空间驱动程序开发、零拷贝数据传输、事件驱动架构等关键技术，提高存储系统的性能和响应速度。

项目：文件系统

spdk blob文件系统设计分析
文件系统引入线程与json配置解析
blobstore与blob的关系
4层结构设计vfs
从bIob读写到文件系统的原语操作实现
spdk的异步改造posix同步api
open/write/read/close的实现
LD_PRELOAD更好mysq|系统调用实现
iodepth讲解
随机读，随机写，顺序读，顺序写

项目：NVMe的kv存储

KV存储拆解Set，Get，Mod，Del
bdev与blob对于kv存储的选择
kv service接口 set，get，modify，delete
pagechunk的get与put
btree/hash/map/radixtree/rbtree之间的选择
slab分配slot与释放slot
为kv存储加上conf文件
kv存储测试用例与性能测试

5.应用层

项目：图床存储引擎 fastdfs

FastDFS是一个开源的分布式文件系统，它旨在解决大规模文件存储问题。FastDFS具有高性能、高可靠性和可扩展性，适用于需要存储大量小文件的场景，如图片存储、视频存储等。

学习FastDFS可以帮助你构建高性能、可扩展和可靠的分布式文件存储系统，满足大规模文件存储和检索的需求。此外，FastDFS的轻量级部署和易用性也使其成为存储开发的一种理想选择。

fastdfs架构分析和配置
快速配置fastdfs
上传文件逻辑分析
下载文件逻辑分析
tracker，storage分析
存储机制
支持断点续传
相同文件内容只保存一份
同步机制
线性扩容
如何实现高可用
负载均衡
fastdfs-nginx-module模块分析
fastcgi请求与响应
nginx与fastcgi如何通信
nginx-fastcgi-fastdfs如何实现上传下载
http接口设计
图床数据库设计
图床文件上传，下载，分享功能实现
业务流程实现

ceph

Ceph是一个开源的分布式存储系统，旨在提供可扩展性、高性能和高可靠性的存储解决方案。Ceph的设计理念是通过将存储和计算资源整合在一起，构建一个统一的分布式存储平台，能够同时支持对象存储、块存储和文件系统存储。

通过学习和使用Ceph可以构建高可靠性、高性能和可扩展的分布式存储解决方案，满足不同应用对存储的需求。

ceph的Docker集群部署
librados写入
后端存储 ObjectStore
存储池
数据操作流程
RBDCache具体实现
Ceph加密和压缩
CRUSH算法
dmClock客户端
Ceph性能测试与分析

RockDB

RockDB是一个高性能、可靠性强且易于使用的嵌入式键值存储引擎。它适用于需要快速、持久化存储和检索大量数据的应用程序，并提供了灵活的数据模型选择。

学习RockDB可以帮助你掌握嵌入式高性能存储引擎的集成和应用，以满足应用程序对数据存储的高性能、持久化和可靠性等需求。这对于构建高效的数据存储系统和提供良好的用户体验至关重要。

LSM-Tree对于磁盘访问速度
Memtable落盘策略
SST文件格式
预写式日志 Write-Ahead Log
BlockCache LRU缓存
Clock缓存机制
写入流程
读取流程
LSM-Tree的三大问题
In-Memory Write Buffer

TiDB

TiDB是一个具有分布式架构、强一致性、ACID事务支持和水平扩展能力的开源关系型数据库。

学习TiDB可以帮助你掌握分布式关系型数据库的设计、部署和优化技术，满足应用程序对高可用性、扩展性和性能的要求，从而更好地应对大规模数据存储和处理的挑战。

分布式关系型数据库兼容MySQL5.7
TiDB分布式数据库整体架构
水平扩展 redis-cluster
HTAP的OLTP与OLAP
TiDB本地部署
集群测试
TiDB Server的模块分析
Physical与Logical Opt iomizer
存储节点与数据映射关系
PD Server调度
TiKV Server数据存储
分布式事务与MPP
WriteStall写停顿
raft运行机制
两阶段提交
隔离级别
MVCC
TiFlash的列式存储
raft列、lock列、write列、default列

系统性视频教程

详情 自下而上-存储全栈（TiDB/RockDB/SPDK/fuse/ceph/NVMe/ext4）

20+存储领域必备技术点

5个手写实现项目

1W+行代码

参考资料

对标岗位

存储开发工程师
分布式存储工程师
云存储开发工程师
KV存储技术专家
SPDK开发工程师
存储引擎研发工程师