技术栈
exl2
engchina
1 年前
oobabooga
·
gptq
·
awq
·
llama.cpp
·
exl2
本地部署 text-generation-webui
一直喜欢用 FastChat 本地部署大语言模型，今天试一试 text-generation-webui 这个项目。