茴香豆 + Qwen-7B-Chat-Int8

今天 打开config.ini 发现 茴香豆 支持 qwen/qwen-7b-chat-int8

1.0 拉取qwen/qwen-7b-chat-int8

cd /root/models

git clone https://gitee.com/hf-models/Qwen-7B-Chat-Int8.git

1.1 更改配置文件

茴香豆的所有功能开启和模型切换都可以通过 config.ini 文件进行修改

复制代码
/root/huixiangdou/config.ini
local_llm_path = "/root/models/Qwen-7B-Chat-Int8"

茴香豆助手搭建在远程服务器上,因此需要先建立本地和服务器之间的透传,透传默认的端口为 7860,在本地机器命令行中运行如下命令:

复制代码
ssh -CNg -L 7860:127.0.0.1:7860 root@ssh.intern-ai.org.cn -p <你的ssh端口号>

在运行茴香豆助手的服务器端,输入下面的命令,启动茴香豆 Web UI:

复制代码
conda activate huixiangdou
cd /root/huixiangdou
python3 -m huixiangdou.gradio

本地浏览器中输入 127.0.0.1:7860 打开茴香豆助手测试页面:

Ollama

相关推荐
Ven%8 分钟前
centos查看硬盘资源使用情况命令大全
linux·运维·centos
JaneJiazhao12 分钟前
HTTPSOK:SSL/TLS证书自动续期工具
服务器·网络协议·ssl
萨格拉斯救世主1 小时前
戴尔R930服务器增加 Intel X710-DA2双万兆光口含模块
运维·服务器
无所谓จุ๊บ1 小时前
树莓派开发相关知识十 -小试服务器
服务器·网络·树莓派
Jtti1 小时前
Windows系统服务器怎么设置远程连接?详细步骤
运维·服务器·windows
TeYiToKu1 小时前
笔记整理—linux驱动开发部分(9)framebuffer驱动框架
linux·c语言·arm开发·驱动开发·笔记·嵌入式硬件·arm
dsywws1 小时前
Linux学习笔记之时间日期和查找和解压缩指令
linux·笔记·学习
yeyuningzi1 小时前
Debian 12环境里部署nginx步骤记录
linux·运维·服务器
上辈子杀猪这辈子学IT1 小时前
【Zookeeper集群搭建】安装zookeeper、zookeeper集群配置、zookeeper启动与关闭、zookeeper的shell命令操作
linux·hadoop·zookeeper·centos·debian
minihuabei2 小时前
linux centos 安装redis
linux·redis·centos