显著降低显存和内存占用
大模型参数动辄数十亿甚至上千亿，仅以16位浮点数（FP16）加载，就需要数百GB的显存。量化能将参数从16位压缩到8位、4位甚至更低，直接减少50%～75%的存储空间。这使得原本需要多块昂贵显卡的模型，可以单卡甚至端侧运行。
加速计算，提升推理吞吐量
减少数据搬运：更小的数据量意味着从显存到计算单元的时间大幅缩短，而这是推理的主要瓶颈。
利用低比特指令：现代GPU（如NVIDIA的INT8张量核心）对低精度整数计算做了专门优化，其计算速度远高于浮点运算。结果是生成每个字（Token）的延迟更低，每秒处理的请求数（吞吐量）更高。
降低能耗和部署成本
计算强度降低，功耗也随之下降。这对于提供大模型API服务的云厂商来说，能直接减少电费和服务器采购成本。对于手机、PC等边缘设备，量化是在本地流畅运行大模型的关键前提。
在效率和精度间取得最佳平衡
很多人担心量化会严重损失模型能力。但现有技术已证明：4位量化可以在仅损失1%～2%精度的前提下，节省75%的显存。通过GPTQ、AWQ等先进算法，量化后的模型在多数任务上与原始模型表现几乎无异。可以说，适度量化是拥抱应用的等效替换，而非降级妥协。