梯度缩放 - 梯度缩放技术,学习,经验文章

thesky123456

31 分钟前

27届大模型面试准备（六十二）：大模型数值精度与混合精度工程——BF16/FP8、AMP、Loss Scale 与精度对齐接（五十）训练稳定性里提到的 BF16 与 loss spike、（十九）量化。本文把"精度"作为工程主线串起来：训练为什么用 BF16、推理为什么上 FP8、混合精度怎么写才不炸、精度对齐怎么验。这是多模态大模型训练 / 推理岗绕不开的基础题，也是面试官判断你"踩过坑"还是"只会调 API"的分水岭。