tgi

HuggingFace4 个月前
lora·tgi
TGI 多-LoRA: 部署一次，搞定 30 个模型的推理服务你是否已厌倦管理多个 AI 模型所带来的复杂性和高成本？ 那么， 如果你可以部署一次就搞定 30 个模型推理服务会如何？ 在当今的 ML 世界中，哪些希望充分发挥其数据的价值的组织可能最终会进入一个“微调的世界”。在这个世界，各个组织会构建大量模型，其中每个模型都针对特定任务进行了高度特化。但是，如何处理为每个细分应用部署模型所带来的麻烦和成本呢？多-LoRA 服务提供了一个有潜力的答案。