quanto

HuggingFace3 个月前
transformers·diffusers·quanto
基于 Quanto 和 Diffusers 的内存高效 transformer 扩散模型过去的几个月，我们目睹了使用基于 transformer 模型作为扩散模型的主干网络来进行高分辨率文生图 (text-to-image，T2I) 的趋势。和一开始的许多扩散模型普遍使用 UNet 架构不同，这些模型使用 transformer 架构作为扩散过程的主模型。由于 transformer 的性质，这些主干网络表现出了良好的可扩展性，模型参数量可从 0.6B 扩展至 8B。
伊织code4 个月前
llama·量化·autogptq·quantization·awq·quanto·aqlm
Llama - 量化本文翻译整理自： https://llama.meta.com/docs/how-to-guides/quantization/