千问Qwen7B chat:本地部署及网页端使用

基于前面的安装经验,千问大模型的本地部署并不算难,主要时间用在大模型文件的下载上。同时系统运行对硬件也有较高的要求,本机的硬件配置为N卡3060,显存12G。

  1. 使用conda创建虚拟环境,主要版本如下:

Python 3.9.18

CUDA 12.1

pytorch 2.2.2

  1. 克隆代码到本地

git clone https://github.com/QwenLM/Qwen.git

  1. 进入Qwen目录,执行安装命令

安装依赖

pip install -r requirements.txt

安装 web_demo 依赖

pip install -r requirements_web_demo.txt

  1. 运行命令

python web_demo.py --server-port 8087 --server-name "0.0.0.0"

会下载很多模型文件,需要一点时间。下载完成后启动界面如下

在输入框里输入沟通内容"你是谁"。我们看一下后台输出:

相关推荐
xyphf_和派孔明44 分钟前
第六章: LangGraph的工具调用代理-Tool Calling Agent
langchain·llm
泯泷1 小时前
AI Agent 工具设计:能执行任务的 Agent,先要学会何时停手
llm·agent
土豆125013 小时前
dsh-orchestrator 介绍与使用实践:让你的 AI 从「一个人硬扛」到「带团队干活
llm·ai编程·deepseek
M--Y13 小时前
LangGraph 工作流模式
开发语言·javascript·python·langchain·大模型·llm·langgraph
泯泷13 小时前
AI Agent 工具设计:接了上百个工具,为什么反而更难干活?
llm·agent
泯泷15 小时前
AI Agent 工具设计:读完一百页 PDF,不等于真的看懂了
人工智能·llm·agent
泯泷18 小时前
AI 怎样"查资料"?——RAG 检索增强生成入门(三)
人工智能·llm
xyphf_和派孔明18 小时前
第五章: LangGraph的路由代理-Router Agent介绍
langchain·llm
泯泷19 小时前
让知识"长骨架"——RAPTOR、GraphRAG 与 OpenViking(四)
人工智能·llm
Eloudy20 小时前
从 DeepSeek-V1 到 DeepSeek-V2:一次从“堆稠密参数”到“稀疏计算+压缩缓存”的架构转向
gpt·llm·transformer