专栏进度：07 / 10 (微调实战专题)
大模型默认使用 FP16（16 位浮点数） 存储权重，这意味着每个参数占 2 字节。一个 7B 模型光权重就占 14GB 显存。量化的本质是把这些高精度的数字映射到更小的整数空间（如 INT4），从而实现 3-4 倍的显存压缩。
一、 核心逻辑：为什么要"牺牲"精度？
你可能会担心：把 16 位压成 4 位，模型不就变傻了吗？
科学解释：
大模型的权重分布通常符合正态分布，大部分信息集中在少数关键区间。
低比特量化：通过精妙的缩放系数（Scale）和偏移量（Zeropoint），我们可以保留 95% 以上的语义信息，而显存占用从 14GB 降至 4GB 左右。
收益：显存占用减半，推理速度（Tokens/sec）提升 2-3 倍。
二、 主流技术栈：GPTQ, AWQ 与 GGUF
在 2026 年，你必须根据你的硬件环境选择不同的量化方案：
技术 适用硬件 特点
GPTQ NVIDIA GPU 经典的二阶段量化，适合离线压缩，推理极快。
AWQ NVIDIA GPU 激活感知量化，精度比 GPTQ 更好，尤其在垂直领域模型上。
GGUF CPU / Mac / 端侧 由 llama.cpp 驱动，支持显存+内存混合推理，是个人电脑的首选。
三、 Python 实战：使用 AutoAWQ 进行 4-bit 压缩
假设你已经微调好了模型 security_agent_dpo，我们用 AutoAWQ 将其压缩。
python
from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer
model_path = "saves/security_agent_dpo"
quant_path = "saves/security_agent_awq_4bit"- 定义量化配置
python
quant_config = {
"zero_point": True,
"q_group_size": 128,
"w_bit": 4,
"version": "GEMM"
}- 加载模型与分词器
python
model = AutoAWQForCausalLM.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)- 执行量化（需要准备少量样本数据进行校准）
python
model.quantize(tokenizer, quant_config=quant_config)- 保存量化后的模型
python
model.save_quantized(quant_path)
print("量化完成！现在你可以用 6GB 显存跑 14B 模型了。")四、 进阶：如何评价量化后的损失？
我们不能只看显存。
困惑度（Perplexity, PPL）：量化后的 PPL 越接近原版，说明精度损失越小。
实际测试：用你第二篇准备的行业测试集跑一遍。如果 4-bit 损失太大，建议尝试 6-bit (Q6_K) 或 8-bit。
五、 避坑指南：量化过程中的"陷阱"
校准集偏差：量化需要一些数据来确定缩放系数。如果你微调的是医疗模型，校准集却用的是普通新闻，量化后的模型会"偏科"。对策：使用微调数据集中的一部分作为校准数据。
硬件不兼容：某些量化内核需要特定的 CUDA 版本或显卡架构（如 Ada Lovelace）。在部署前，务必检查推理引擎（如 vLLM 或 TGI）是否支持该量化格式。