【量化部署】AWQ in MLSys 2024论文: AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration 作者: MIT 代码: AWQ 特点: 该方法是一个仅量化权重的方法(W4A16),AWQ认为只有极少部分(1%)模型权重是十分重要的,在量化时应该着重保护它们。AWQ根据校准数据输入模型后得到的激活值的量级来锁定重要权重,通过放大这些权重来实现对他们的保护,放大因子是对应激活量级的 α \alpha α次方。