茴香豆 + Qwen-7B-Chat-Int8

今天 打开config.ini 发现 茴香豆 支持 qwen/qwen-7b-chat-int8

1.0 拉取qwen/qwen-7b-chat-int8

cd /root/models

git clone https://gitee.com/hf-models/Qwen-7B-Chat-Int8.git

1.1 更改配置文件

茴香豆的所有功能开启和模型切换都可以通过 config.ini 文件进行修改

/root/huixiangdou/config.ini

local_llm_path = "/root/models/Qwen-7B-Chat-Int8"

茴香豆助手搭建在远程服务器上，因此需要先建立本地和服务器之间的透传，透传默认的端口为 7860，在本地机器命令行中运行如下命令：

ssh -CNg -L 7860:127.0.0.1:7860 root@ssh.intern-ai.org.cn -p <你的ssh端口号>

在运行茴香豆助手的服务器端，输入下面的命令，启动茴香豆 Web UI：

conda activate huixiangdou
cd /root/huixiangdou
python3 -m huixiangdou.gradio

本地浏览器中输入 127.0.0.1:7860 打开茴香豆助手测试页面：

Ollama