技术栈
速度
若石之上
5 天前
pytorch
·
内存
·
gpu
·
deepspeed
·
速度
·
zero
DeepSpeed：PyTorch优化库，使模型分布式训练能高效使用内存和更快速
DeepSpeed是一个PyTorch优化库，它能让大模型的分布式训练更加节省内存和更快速。它的核心是ZeRO,ZeRO让大规模的训练大模型成为可能。ZeRO有以下几个工作状态：
小果运维
1 年前
分布式
·
ceph
·
优化
·
存储
·
速度
ceph存储服务结构介绍以及速度优化的方法
Ceph 提供了多种存储服务，包括 CephFS、RBD、RADOS Gateway (RGW) 以及通过 Librados 和 RADOS 库提供的服务。以下是这些存储服务的简要介绍和结构：
zhanyd
1 年前
内存
·
固态硬盘
·
速度
·
机械硬盘
原来机械硬盘比内存慢10万倍
我们都知道机械硬盘的速度很慢，内存的速度很快，那么不同存储器之间的差距到底有多大呢？我们先来看一幅图：