今天 打开config.ini 发现 茴香豆 支持 qwen/qwen-7b-chat-int8
1.0 拉取qwen/qwen-7b-chat-int8
cd /root/models
git clone https://gitee.com/hf-models/Qwen-7B-Chat-Int8.git
1.1 更改配置文件
茴香豆的所有功能开启和模型切换都可以通过 config.ini
文件进行修改
/root/huixiangdou/config.ini
local_llm_path = "/root/models/Qwen-7B-Chat-Int8"
茴香豆助手搭建在远程服务器上,因此需要先建立本地和服务器之间的透传,透传默认的端口为 7860
,在本地机器命令行中运行如下命令:
ssh -CNg -L 7860:127.0.0.1:7860 root@ssh.intern-ai.org.cn -p <你的ssh端口号>
在运行茴香豆助手的服务器端,输入下面的命令,启动茴香豆 Web UI:
conda activate huixiangdou
cd /root/huixiangdou
python3 -m huixiangdou.gradio
本地浏览器中输入 127.0.0.1:7860
打开茴香豆助手测试页面: