双重量化 - 双重量化技术,学习,经验文章

*JOKER

2 天前

GPTQ&QLoRA&4bit 量化&NormalFloat4&双重量化这是我们在hugging face里进行4 bit 量化加载的配置文件。之前我们讲的量化方法都是线性量化的方法，也就是在量化前的浮点数和量化后的整数之间是满足线性关系的。换一种不太准确的说法，就是对于量化后的每个整数值，都有同样多的浮点数的值映射到它上面。