CSDIY：这是一个非科班学生的努力之路，从今天开始这个系列会长期更新，（最好做到日更），我会慢慢把自己目前对CS的努力逐一上传，帮助那些和我一样有着梦想的玩家取得胜利！！！
第一弹：Cpp零基础学习【30 DAYS 从0到1】
第二弹：Cpp刷题文档【LeetCode】
第三弹：Go开发入门【字节后端青训营】
第四弹：Cpp简单项目开发【黑马Rookie】
第五弹：数据结构绪论【数据结构与算法】
第六弹：Go工程实践【字节后端青训营】
第七弹：高质量编程和性能调优【字节后端青训营】
第八弹：Linux 基础知识【书生大模型训练营】
第九弹：Python 基础知识【书生大模型训练营】
第十弹：Git 基础知识【书生大模型训练营】
第十一弹：玩转HF/魔搭/魔乐社区【书生大模型训练营】
第十二弹：书生大模型全链路开源体系【书生大模型训练营】
第十三弹：玩转书生「多模态对话」与「AI搜索」产品【书生大模型训练营】
第十四弹：浦语提示词工程实践【书生大模型训练营】
第十五弹：HTTP 框架修炼之道【字节后端青训营】
第十六弹：打开抖音会发生什么【字节后端青训营】
第十七弹：将我的服务开放给用户【字节后端青训营】
第十八弹：InternLM + LlamaIndex RAG 实践【书生大模型训练营】
第十九弹：深入浅出 RPC 框架【字节后端青训营】
第二十弹：带你认识存储 & 数据库【字节后端青训营】
01. 经典案例
一条数据从产生，到数据流动，最后持久化的全生命周期
1.1 数据的产生
一条用户的数据
{
{
字段：值
}1.2 数据的流动
用户数据 - 后端服务器 - 数据库 - 其它系统...
1.3 数据的持久化
-
校验数据的合法性："用户是否已经存在"
-
修改内存：用高效的数据结构组织数据
-
写入存储介质：以寿命 & 性能友好的方式写入硬件
1.4 潜在的问题
- 数据库怎么保证数据不丢？
- 数据库怎样处理多人同时修改的问题？
- 为什么用数据库，除了数据库还能存到别的存储系统吗？
- 数据库只能处理结构化数据吗？
- 有哪些操作数据库的方式 ，要用什么编程语言？
02. 存储 & 数据库简介
什么是存储系统？什么是数据库？
- 什么是存储系统？
- 一个提供了读写控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统。
2.1 存储系统 - 系统特点
-
作为后端软件的底座，性能敏感
-
存储系统代码，既"简单"又"复杂"
-
存储系统软件架构，容易受硬件影响
2.2 存储系统 - 存储器层级结构
Computer Memory Hierarchy
2.3 存储系统 - 数据怎么从应用到存储介质
- 缓存很重要，贯穿整个存储体系
- 拷贝很昂贵，应该尽量减少
- 硬件设备五花八门，需要有抽象统一的接入层（防止因为底层硬件改变而导致框架崩塌）
2.4 存储系统 - RAID 技术
单机存储系统做到高性能/高性价比/高可靠性
Redundant Array of Inexpensive Disk
单块磁盘的价格贵于多个小磁盘，写入性能却劣于多个小磁盘，且容错能力有限，不够安全。
RAID 0
- 多块磁盘简单组合
- 数据条带化存储，提高磁盘带宽
- 没有额外的容错设计
RAID 1
- 一块磁盘对应一块额外镜像盘
- 真实利用率仅仅50%
- 容错能力强
RAID 0 + 1 / 1 + 0
- 结合 RAID 0 和 RAID 1
- 真实利用率仅仅50%
- 容错能力强，写入带宽大
2.5 数据库
难道数据库和存储系统不一样吗？
关系型数据库、非关系型数据库
2.6 数据库 - 概览
关系（Relation）是什么
关系 = 集合 = 任意元素组成的若干有序偶对
关系代数 = 对关系作运算的抽象查询语言
SQL = 一种 DSL = 一种方便人类阅读的表达形式
2.7 数据库 - 关系型数据库特点
关系型数据库是存储系统，但是在存储之外，又发展出其他能力
- 结构化友好
- 支持 ACID
- 支持 SQL
2.8 数据库 - 非关系型数据库特点
非关系型数据库也是存储系统，但是一般不要求严格的结构化
2.9 数据库 VS 经典存储 - 结构化数据结构
写入文件，自行定义 管理结构
2.10 数据库 VS 经典存储 - 事务能力
事物具有 ACID 的特性。
凸显数据库支持 [事物] 的优越性
- Atomicity，事务内的操作要么全做，要么不做
- Consistency，事务执行前后，数据状态是一致的
- Isolation，可以隔离多个并发事务，避免影响
- Durability
2.11 数据库 VS 经典存储 - 复杂查询能力
灵活简洁的代码
2.12 数据库使用方式
Everything is DSL
03. 主流产品剖析
3.1 单机存储 - 概览
Linux 经典哲学：一切皆文件
文件系统的管理单元：文件
文件系统接口：文件系统繁多
Linux文件系统的两大数据结构：Index Node & Directory Entry
Index Node
记录文件元数据
Directory Entry
记录文件名，inode指针，层级关系等
3.2 单机存储 - key - value 存储
常见方式：put（k，v） & get（k）
常见数据结构：LSM - Tree，某种程度上牺牲读性能，追求写入性能
3.3 分布式存储 - 概览
分布式存储 = 在单机存储基础上实现了分布式协议，涉及大量网络交互
3.4 分布式存储 - HDFS
堪称大数据时代的基石
核心特点：
- 支持海量数据存储
- 高容错性
- 弱 POSIX 语义
- 使用普通x86服务器，性价比高
3.5 分布式存储 - Ceph
开源分布式存储系统里的 万金油
核心特点：
- 一套系统支持对象接口 、块接口 、文件接口，但是一切皆对象
- 数据写入采用主备复制模型
- 数据分布模型采用 CRUSH 算法
3.6 单机数据库 - 概览
关系型/非关系型
3.7 单机数据库 - 关系型数据库
Oracle、MySQL、PostgreSQL
3.8 单机数据库 - 非关系型数据库
Elasticsearch
- 面向文档存储
- 文档可序列化成JSON，支持嵌套
- 存在 [index]，index = 文档的集合
- 存储和构建索引能力依赖 Lucene 引擎
- 实现了大量搜索数据结构 & 算法
- ...
3.9 从单机到分布式数据库
为什么引入分布式架构
- 容量、弹性、性价比
3.10 分布式数据库 - 解决容量问题
~单点容量有限，受硬件影响
👇
~存储节点化，动态扩缩容
3.11 分布式数据库 - 解决弹性问题
可以随时扩容缩容等操作...
3.12 分布式数据库 - 解决性价比问题
3.13 分布式数据库 - More to Do
多写
内存弹性
分布式事务优化
04. 新技术演进
4.1 新技术演进 - 概览
软件架构变更
AI 增强
- 智能存储格式转换
新硬件革命
- 存储介质、计算单元、网络硬件
4.2 新技术演进 - SPDK
Bypass OS kernel 已经成为一种趋势
4.3 新技术演进 - AI & Storage
4.3 新技术演进 - 高性能硬件
- RDMA 网络
- Persistent Memory
- 可编程交换机
- CPU/GPU/DPU