auto-gptq - auto-gptq技术,学习,经验文章

IT修炼家

5 个月前

auto-gptq安装以及不适配软硬件环境可能出现的问题及解决方式Auto-GPTQ 是一种专注于量化深度学习模型的工具库。它的主要目标是通过量化技术（Quantization）将大型语言模型（LLM）等深度学习模型的大小和计算复杂度显著减少，从而提高推理效率，同时尽可能保持模型的性能。