项目地址：
- GitHub - deepseek-ai/3FS: A high-performance distributed file system designed to address the challenges of AI training and inference workloads.
- GitHub - deepseek-ai/smallpond: A lightweight data processing framework built on DuckDB and 3FS.
开源日历：2025-02-24起 每日9AM(北京时间)更新，持续五天 (5/5)！
引言
在AI技术迅猛发展的浪潮中，DeepSeek以「开源周」形式连续五天发布五大核心基础设施项目，引发行业震动。最终日压轴登场的 Fire-Flyer File System（3FS） 和 smallpond 数据处理框架，更是将存储与计算性能推向新高度。与此同时，OpenAI仓促推出GPT-4.5却因天价API引发争议。本文将全面解析这场技术盛宴的核心突破。
一、颠覆AI训练的分布式存储系统 - 3FS
核心架构解析
3FS（Fire-Flyer File System） 是专为AI训练设计的分布式文件系统，其创新架构包含三大核心：
- 解耦式存储资源池
整合上千块NVMe SSD（固态硬盘）与RDMA（远程直接内存访问）网络，形成全局存储资源池。计算节点通过高速网络直接访问数据，突破本地存储限制。 - CRAQ强一致性协议
采用链式复制查询分配技术（Chain Replication with Apportioned Queries），确保跨节点数据访问一致性，同时通过读写分离优化性能。 - 无状态元数据服务
基于FoundationDB事务型KV存储构建元数据层，实现毫秒级文件定位，支持10万级QPS（每秒查询量）。
性能实测数据
| 测试场景 | 配置详情 | 性能表现 |
|---|---|---|
| 峰值吞吐测试 | 180存储节点×16块14TB SSD，500+计算节点通过200Gbps RDMA访问 | 6.6 TiB/s读吞吐量 |
| GraySort排序测试 | 25存储节点处理110.5TiB数据 | 30分钟完成，3.66TiB/min |
| LLM推理加速 | KVCache（键值缓存）存储于3FS替代GPU内存 | 峰值40GiB/s读取速度 |
四大应用场景突破
- 数据预处理流水线
支持PB级数据集的分层目录管理，加速特征工程处理。 - 训练数据实时加载
允许Dataloader跨节点随机访问，无需预排序或缓存。 - 分布式检查点保存
千卡训练任务可30秒内完成模型状态保存。 - 推理KVCache外置
将Transformer的键值对缓存移至3FS，释放30% GPU显存。
二、轻量级大数据处理利器 - smallpond
技术架构亮点
基于 DuckDB列式数据库 与3FS构建的轻量框架，实现三大创新：
- 无状态计算范式
摒弃Hadoop/Spark的常驻服务模式，通过Python脚本直接调度计算资源。 - 智能数据分片
自动将PB级数据集划分为8192个分区，结合3FS实现并行处理。 - 混合执行引擎
本地小数据集使用DuckDB单机模式，大规模任务自动切换分布式计算。
实战代码示例
import smallpond
sp = smallpond.init()
# 读取3FS中的Parquet数据集
df = sp.read_parquet("3fs://dataset/images-2024")
# 分布式SQL处理
df = sp.partial_sql("""
SELECT category, AVG(file_size) AS avg_size
FROM {0}
WHERE resolution > 1080
GROUP BY category
""", df)
# 结果写入并转换为Pandas
df.write_parquet("3fs://results/image_stats")
print(df.to_pandas().describe())
性能对比测试
| 框架 | 110TB排序耗时 | 节点数量 | 硬件成本 |
|---|---|---|---|
| Hadoop | 4.2小时 | 200节点 | $18,000 |
| Spark | 2.1小时 | 150节点 | $15,000 |
| smallpond | 30分钟 | 75节点 | $7,200 |
三、OpenAI GPT-4.5：高情商背后的天价成本
核心升级点
尽管宣称在以下方面取得突破，但定价引发开发者强烈反弹：
- 情感理解增强
通过情绪识别模型（Sentiment-aware RLHF）优化对话共情能力 - 推理精度提升
数学问题准确率从GPT-4的82.3%提升至89.1% - 长上下文优化
支持128K token上下文记忆，遗忘率降低37%
价格对比表
| 模型 | 输入价格(美元/百万token) | 输出价格 | 对比DeepSeek v3 |
|---|---|---|---|
| GPT-4o | 5.0 | 15.0 | 5-10倍 |
| GPT-4.5 | 75.0 | 150.0 | 150-280倍 |
| DeepSeek v3 | 0.27 | 1.0 | 基准 |
四、开源周全景回顾
DeepSeek开源周技术矩阵：
| 发布日期 | 项目名称 | 关键技术点 | 性能提升 |
|---|---|---|---|
| Day1 | FlashMLA | 动态序列长度优化 | 推理速度提升3.2倍 |
| Day2 | DeepEP | 专家并行通信库 | MoE训练效率提升40% |
| Day3 | DeepGEMM | FP8混合精度计算 | 矩阵运算功耗降低65% |
| Day4 | DualPipe/EPLB | 双向流水线并行+负载均衡 | 千卡训练稳定性提升90% |
| Day5 | 3FS+smallpond | 分布式存储+轻量计算框架 | 数据吞吐提升10倍 |
五、行业影响与未来展望
DeepSeek的开源策略正在重塑AI基础设施生态：
- 技术民主化加速
企业可基于开源组件构建完整训练体系，无需依赖AWS/GCP等云厂商专属方案。 - 硬件利用率飞跃
3FS使单GPU卡日均训练任务从3次提升至8次，显著降低算力成本。 - 开源模型新机遇
开发者社区已涌现基于3FS的类Sora视频生成项目VidSeek。
行业分析师预测，Google、Meta等巨头或将在6个月内推出对标方案，而xAI等初创公司可能直接基于DeepSeek生态进行二次开发。
参考引用
- DeepSeek开源最后一天
- 最后一天！DeepSeek开源3FS系统
- GitHub - deepseek-ai/3FS: A high-performance distributed file system designed to address the challenges of AI training and inference workloads.
- GitHub - deepseek-ai/smallpond: A lightweight data processing framework built on DuckDB and 3FS.
专业术语解释
- Fire - Flyer File System（3FS）
专为AI训练设计的分布式文件系统，通过解耦式存储资源池整合NVMe SSD与RDMA网络形成全局存储资源池，利用CRAQ强一致性协议确保数据访问一致性并优化性能，借助无状态元数据服务实现毫秒级文件定位和高QPS。类似于为AI训练打造了一个超级仓库，能快速准确地提供数据。 - NVMe SSD（固态硬盘）
一种高速存储设备，在3FS中作为存储资源被整合到全局存储资源池，为AI训练提供快速的数据存储和读取能力。如同仓库里快速存取货物的货架。 - RDMA（远程直接内存访问）
一种网络技术，用于3FS中计算节点与存储资源池之间的高速数据访问，突破本地存储限制。类似一条高速通道，让数据快速在不同地方传输。 - CRAQ强一致性协议（Chain Replication with Apportioned Queries）
采用链式复制查询分配技术，保证3FS跨节点数据访问的一致性，并通过读写分离优化性能。就像一个严格的规则制定者，确保数据在不同节点间的访问都准确无误且高效。 - 无状态元数据服务
基于FoundationDB事务型KV存储构建的元数据层，在3FS中实现毫秒级文件定位，支持高QPS。好比一个智能导航系统，能快速找到文件在仓库中的位置。 - QPS（每秒查询量）
衡量系统处理能力的指标，3FS的无状态元数据服务可支持10万级QPS，代表其每秒能处理大量的文件查询请求。类似一个服务员每秒能接待多少顾客的询问。 - GraySort排序测试
一种用于测试系统数据处理能力的测试场景，在3FS的性能测试中，25个存储节点能在30分钟内处理110.5TiB数据。就像对仓库货物整理能力的一次考验。 - LLM推理加速
通过将KVCache存储于3FS替代GPU内存，提高大语言模型（LLM）推理速度，在3FS中能达到峰值40GiB/s的读取速度。如同给推理过程找到了一条捷径。 - KVCache（键值缓存）
在LLM推理中，将Transformer的键值对缓存移至3FS可释放30% GPU显存。类似于把一些临时数据存放到外部仓库，腾出空间给更重要的工作。 - smallpond
基于DuckDB列式数据库与3FS构建的轻量级大数据处理框架，采用无状态计算范式、智能数据分片和混合执行引擎等创新技术。像一个小巧灵活的工具，能高效处理大数据。 - DuckDB列式数据库
smallpond框架的基础之一，提供单机数据处理能力，在smallpond中用于本地小数据集处理或作为大规模任务分布式计算的基础组件。类似一个小型加工厂，处理小规模的数据。 - 无状态计算范式
smallpond摒弃Hadoop/Spark的常驻服务模式，通过Python脚本直接调度计算资源。就像不需要长期驻扎的团队，有任务时直接调用资源完成工作。 - 智能数据分片
smallpond自动将PB级数据集划分为8192个分区，结合3FS实现并行处理，提高数据处理效率。类似于把一大块工作分成许多小块，同时进行处理。 - 混合执行引擎
smallpond本地小数据集使用DuckDB单机模式，大规模任务自动切换分布式计算。如同一个智能的工人，遇到小任务自己做，大任务就叫上其他人一起做。 - Sentiment - aware RLHF（情绪识别模型）
OpenAI用于优化GPT - 4.5对话共情能力的技术，通过该模型增强情感理解。就像给模型安装了一个"情感探测器"，让它更懂人类情感。
DeepSeek开源周不仅展示了中国AI公司的技术实力，更重要的是推动行业进入「开放创新」新阶段。当6.6TiB/s的存储吞吐遇上社区智慧，或许下一次AI革命的火花就诞生于某个开发者的GitHub仓库。