大模型面试题：在混合精度训练中如何选择合适的精度

我整理好的1000+面试题，请看
大模型面试题总结-CSDN博客

或者

https://gitee.com/lilitom/ai_interview_questions/blob/master/README.md

最好将URL复制到浏览器中打开，不然可能无法直接打开

---

好了，我们今天针对上面的问题，

在混合精度训练中，如何选择合适的精度？

• 如果显存有限，优先选择 FP16。

• 如果对精度要求较高，可以结合 FP32 进行混合精度训练。