千问Qwen7B chat:本地部署及网页端使用

基于前面的安装经验,千问大模型的本地部署并不算难,主要时间用在大模型文件的下载上。同时系统运行对硬件也有较高的要求,本机的硬件配置为N卡3060,显存12G。

  1. 使用conda创建虚拟环境,主要版本如下:

Python 3.9.18

CUDA 12.1

pytorch 2.2.2

  1. 克隆代码到本地

git clone https://github.com/QwenLM/Qwen.git

  1. 进入Qwen目录,执行安装命令

安装依赖

pip install -r requirements.txt

安装 web_demo 依赖

pip install -r requirements_web_demo.txt

  1. 运行命令

python web_demo.py --server-port 8087 --server-name "0.0.0.0"

会下载很多模型文件,需要一点时间。下载完成后启动界面如下

在输入框里输入沟通内容"你是谁"。我们看一下后台输出:

相关推荐
大模型教程1 天前
解锁 MCP 的力量:9 个令人惊叹的项目,让你重新思考 AI 工程
程序员·llm·agent
大模型教程1 天前
深入浅出 AI 智能体(AI Agent)|技术干货
程序员·llm·agent
AI大模型1 天前
OpenAI 带你《从 0 到 1 打造 AI Agent:最全实战指南》(直白 + 权威)
程序员·llm·agent
AI大模型1 天前
Google 白皮书核心解析:AI Agent 落地开发全指南
google·llm·agent
智泊AI1 天前
大模型为啥按Tokens收费?Tokens究竟是什么?直到我理解了Token和分词器,我才懂Transformer
llm
信鑫1 天前
AIO Sandbox:为 AI Agent 打造的一体化、可定制的沙箱环境
llm·agent·强化学习
潘小安2 天前
『译』迄今为止最强的 RAG 技术?Anthropic 的上下文检索与混合搜索
算法·llm·claude
AI大模型2 天前
手把手教你本地部署大模型:CUDA与cuDNN环境配置全攻略
程序员·llm·agent
AI大模型2 天前
手把手教你本地部署 Dify——打造属于自己的 AI 应用平台
程序员·llm·agent
yaocheng的ai分身2 天前
Octoverse:AI 推动 TypeScript 登顶 #1,每秒都有新开发者加入 GitHub
llm·github