千问Qwen7B chat:本地部署及网页端使用

基于前面的安装经验,千问大模型的本地部署并不算难,主要时间用在大模型文件的下载上。同时系统运行对硬件也有较高的要求,本机的硬件配置为N卡3060,显存12G。

  1. 使用conda创建虚拟环境,主要版本如下:

Python 3.9.18

CUDA 12.1

pytorch 2.2.2

  1. 克隆代码到本地

git clone https://github.com/QwenLM/Qwen.git

  1. 进入Qwen目录,执行安装命令

安装依赖

pip install -r requirements.txt

安装 web_demo 依赖

pip install -r requirements_web_demo.txt

  1. 运行命令

python web_demo.py --server-port 8087 --server-name "0.0.0.0"

会下载很多模型文件,需要一点时间。下载完成后启动界面如下

在输入框里输入沟通内容"你是谁"。我们看一下后台输出:

相关推荐
我是王大你是谁17 小时前
详细比较 QLORA、LORA、MORA、LORI 常见参数高效微调方法
人工智能·llm
Ann17 小时前
【翻译】图解deepseek-R1
llm·deepseek
Baihai_IDP17 小时前
OCR 识别质量如何影响 RAG 系统的性能?有何解决办法?
人工智能·llm·aigc
硬核隔壁老王18 小时前
从零开始搭建RAG系统系列(十):RAG系统性能优化技巧-生成模块优化 (Optimizing Generator)
人工智能·程序员·llm
硬核隔壁老王18 小时前
从零开始搭建RAG系统系列(九):RAG系统性能优化技巧-检索模块优化 (Optimizing Retriever)
人工智能·程序员·llm
LLM大模型18 小时前
LangChain篇-消息管理与聊天历史存储
人工智能·程序员·llm
Tadas-Gao1 天前
7种分类数据编码技术详解:从原理到实战
人工智能·机器学习·分类·数据挖掘·大模型·llm
AI大模型知识2 天前
Qwen3 Embeding模型Lora微调实战
人工智能·低代码·llm
藏锋入鞘2 天前
AI First 编程:Cursor 深度体验和”智驾式编程“实操
llm·ai编程
大尾巴青年2 天前
07 一分钟搞懂langchain如何调用tool
langchain·llm