茴香豆 + Qwen-7B-Chat-Int8

今天 打开config.ini 发现 茴香豆 支持 qwen/qwen-7b-chat-int8

1.0 拉取qwen/qwen-7b-chat-int8

cd /root/models

git clone https://gitee.com/hf-models/Qwen-7B-Chat-Int8.git

1.1 更改配置文件

茴香豆的所有功能开启和模型切换都可以通过 config.ini 文件进行修改

复制代码
/root/huixiangdou/config.ini
local_llm_path = "/root/models/Qwen-7B-Chat-Int8"

茴香豆助手搭建在远程服务器上,因此需要先建立本地和服务器之间的透传,透传默认的端口为 7860,在本地机器命令行中运行如下命令:

复制代码
ssh -CNg -L 7860:127.0.0.1:7860 root@ssh.intern-ai.org.cn -p <你的ssh端口号>

在运行茴香豆助手的服务器端,输入下面的命令,启动茴香豆 Web UI:

复制代码
conda activate huixiangdou
cd /root/huixiangdou
python3 -m huixiangdou.gradio

本地浏览器中输入 127.0.0.1:7860 打开茴香豆助手测试页面:

Ollama

相关推荐
blessing。。18 分钟前
I2C学习
linux·单片机·嵌入式硬件·嵌入式
2202_7544215433 分钟前
生成MPSOC以及ZYNQ的启动文件BOOT.BIN的小软件
java·linux·开发语言
努力的悟空1 小时前
国土变更调查拓扑错误自动化修复工具的研究
运维·自动化
运维&陈同学1 小时前
【zookeeper03】消息队列与微服务之zookeeper集群部署
linux·微服务·zookeeper·云原生·消息队列·云计算·java-zookeeper
旦沐已成舟2 小时前
DevOps-Jenkins-新手入门级
服务器
周末不下雨2 小时前
win11+ubuntu22.04双系统 | 联想 24 y7000p | ubuntu 22.04 | 把ubuntu系统装到1T的移动固态硬盘上!!!
linux·运维·ubuntu
软件技术员3 小时前
Let‘s Encrypt SSL证书:acmessl.cn申请免费3个月证书
服务器·网络协议·ssl
哎呦喂-ll3 小时前
Linux进阶:环境变量
linux
耗同学一米八3 小时前
2024 年河北省职业院校技能大赛网络建设与运维赛项样题四
运维·网络