老显卡能否运行大语言模型

1. Meta-Llama-3.1-8B-Instruct

TITAN X Pascal x 2 10.9 token/s 占用显存16.8G

4090 62.6 token/s 占用显存15.6G

2. Meta-Llama-3.1-8B-Instruct-GPTQ-INT4

TITAN X Pascal 10.4 token/s 占用显存6.5G

3060TI 50.4 token/s 占用显存5.6G

4090 85.0 token/s 占用显存6.2G

3、Meta-Llama-3.1-70B-Instruct-GPTQ-INT4

4090x4 23.6 token/s 占用显存40.8G

如果跑Meta-Llama-3.1-8B-Instruct需要一张大显存显卡，如果跑量化版本Meta-Llama-3.1-8B-Instruct-GPTQ-INT4一般显存显卡也能跑，TITAN X Pascal与1080TI相当，老显示卡也能战大语言模型，只是速度相对慢一些。