显存占用

征途黯然.1 年前
语言模型·大语言模型·显存占用
深入解析大语言模型显存占用：训练与推理对于NLP领域的从业者和研究人员来说，有没有遇到过这样一个场景，你的领导（或者导师）突然冷不丁来一句：“最近马斯克又新出了个Grok模型，小王你看看怎么放到我们的业务里来？” ——然而尴尬的是你只知道Grok是个3000亿参数的模型，很大！但是具体要用多少资源你也不知道，这个时候你想拒绝你的领导，但是又怕他追问一些你答不上来的问题，于是只好沉默。