千问Qwen7B chat:本地部署及网页端使用

基于前面的安装经验,千问大模型的本地部署并不算难,主要时间用在大模型文件的下载上。同时系统运行对硬件也有较高的要求,本机的硬件配置为N卡3060,显存12G。

  1. 使用conda创建虚拟环境,主要版本如下:

Python 3.9.18

CUDA 12.1

pytorch 2.2.2

  1. 克隆代码到本地

git clone https://github.com/QwenLM/Qwen.git

  1. 进入Qwen目录,执行安装命令

安装依赖

pip install -r requirements.txt

安装 web_demo 依赖

pip install -r requirements_web_demo.txt

  1. 运行命令

python web_demo.py --server-port 8087 --server-name "0.0.0.0"

会下载很多模型文件,需要一点时间。下载完成后启动界面如下

在输入框里输入沟通内容"你是谁"。我们看一下后台输出:

相关推荐
Tadas-Gao10 小时前
7种分类数据编码技术详解:从原理到实战
人工智能·机器学习·分类·数据挖掘·大模型·llm
AI大模型知识12 小时前
Qwen3 Embeding模型Lora微调实战
人工智能·低代码·llm
藏锋入鞘14 小时前
AI First 编程:Cursor 深度体验和”智驾式编程“实操
llm·ai编程
大尾巴青年17 小时前
07 一分钟搞懂langchain如何调用tool
langchain·llm
AI大模型学习教程18 小时前
Transformer:BERT模型和代码解析
人工智能·llm
LLM大模型18 小时前
LangChain篇- 一文读懂 LCEL工作流编排
人工智能·程序员·llm
仙人掌_lz19 小时前
如何打造一款金融推理工具Financial Reasoning Workflow:WebUI+Ollama+Fin-R1+MCP/RAG
人工智能·搜索引擎·ai·金融·llm·rag·mcp
风雨中的小七19 小时前
解密prompt系列55.Agent Memory的工程实现 - Mem0 & LlamaIndex
llm·nlp
SpikeKing19 小时前
LLM - LlamaFactory 的大模型推理 踩坑记录
人工智能·llm·llamafactory
SpikeKing1 天前
Server - 使用 Docker 配置 PyTorch 研发环境
pytorch·docker·llm