optimum

Hugging Face系列2：详细剖析Hugging Face网站资源——实战六类开源库本系列文章旨在全面系统的介绍Hugging Face，让小白也能熟练使用Hugging Face上的各种开源资源，并上手创建自己的第一个Space App，在本地加载Hugging Face管线训练自己的第一个模型，并使用模型生成采样数据，同时详细解决部署中出现的各种问题。后续文章会分别介绍采样器及其加速、显示分类器引导扩散模型、CLIP多模态图像引导生成、DDMI反转及控制类大模型ControlNet等，根据反馈情况可能再增加最底层的逻辑公式和从零开始训练LLM等，让您从原理到实践彻底搞懂扩散模型和大语

在英特尔至强 CPU 上使用 🤗 Optimum Intel 实现超快 SetFit 推理在缺少标注数据场景，SetFit 是解决的建模问题的一个有前途的解决方案，其由 Hugging Face 与 Intel 实验室以及 UKP Lab 合作共同开发。作为一个高效的框架，SetFit 可用于对 Sentence Transformers 模型进行少样本微调。

NLP（六十八）使用Optimum进行模型量化本文将会介绍如何使用HuggingFace的Optimum，来对微调后的BERT模型进行量化（Quantization）。在文章NLP（六十七）BERT模型训练后动态量化（PTDQ）中，我们使用PyTorch自带的PTDQ（Post Training Dynamic Quantization）量化策略对微调后的BERT模型进行量化，取得了模型推理性能的提升（大约1.5倍）。本文将尝试使用Optimum量化工具。