fp8训练 - fp8训练技术,学习,经验文章

骑着蜗牛撵大象327

2 小时前

558 万美元训出 671B 模型：DeepSeek-V3 算法与系统的协同拆解大模型训练的成本焦虑已经从「能不能训」变成「能不能训得起」。同样规模的模型，不同团队烧的钱可能差一个数量级，差距不在显卡型号，而在算法与系统是不是一起设计的。DeepSeek-V3 用 1024 张 H800、约 278.8 万 GPU 小时、折合约 558 万美元跑完 14.8 万亿 token，这个数字本身就说明了一件事：省钱不是抠出来的，是设计出来的。