大语言模型推理与部署工具介绍

推理与部署

本项目中的相关模型主要支持以下量化、推理和部署方式，具体内容请参考对应教程。

工具	特点	CPU	GPU	量化	GUI	API	vLLM§	16K‡	教程
llama.cpp	丰富的量化选项和高效本地推理	✅	✅	✅	❌	✅	❌	✅	link
🤗Transformers	原生transformers推理接口	✅	✅	✅	✅	❌	✅	✅	link
Colab Demo	在Colab中启动交互界面	✅	✅	✅	✅	❌	✅	✅	link
仿OpenAI API调用	仿OpenAI API接口的服务器Demo	✅	✅	✅	❌	✅	✅	✅	link
text-generation-webui	前端Web UI界面的部署方式	✅	✅	✅	✅	✅†	❌	✅	link
LangChain	适合二次开发的大模型应用开源框架	✅†	✅	✅†	❌	❌	❌	✅	link
privateGPT	基于LangChain的多文档本地问答框架	✅	✅	✅	❌	❌	❌	✅	link