我整理好的1000+面试题，请看
大模型面试题总结-CSDN博客
或者
https://gitee.com/lilitom/ai_interview_questions/blob/master/README.md
最好将URL复制到浏览器中打开，不然可能无法直接打开
好了，我们今天针对上面的问题，
大模型的训练和推理中显存和计算量的情况？
先说结论：
-
参数量
，令该值为
-
训练计算量
，只是前向的，后向是2倍
-
训练显存量
(假设以2-bype来表示中间激活)，这个算出来的结果就是bytes，不是数值的个数，其中包括了模型参数、梯度和优化器状态,34bsh是中间激活
-
推理显存量
(假设是2-byte)，其中的表示模型显存。