千问Qwen7B chat:本地部署及网页端使用

基于前面的安装经验,千问大模型的本地部署并不算难,主要时间用在大模型文件的下载上。同时系统运行对硬件也有较高的要求,本机的硬件配置为N卡3060,显存12G。

  1. 使用conda创建虚拟环境,主要版本如下:

Python 3.9.18

CUDA 12.1

pytorch 2.2.2

  1. 克隆代码到本地

git clone https://github.com/QwenLM/Qwen.git

  1. 进入Qwen目录,执行安装命令

安装依赖

pip install -r requirements.txt

安装 web_demo 依赖

pip install -r requirements_web_demo.txt

  1. 运行命令

python web_demo.py --server-port 8087 --server-name "0.0.0.0"

会下载很多模型文件,需要一点时间。下载完成后启动界面如下

在输入框里输入沟通内容"你是谁"。我们看一下后台输出:

相关推荐
viperrrrrrrrrr72 小时前
GPT系列模型-详解
人工智能·gpt·llm
大熊猫侯佩3 小时前
大内密探零零发之 iOS 密探神器 AI 大模型 MCP 服务开发记(下)
llm·ai编程·mcp
大熊猫侯佩3 小时前
大内密探零零发之 iOS 密探神器 AI 大模型 MCP 服务开发记(上)
llm·ai编程·mcp
302AI4 小时前
体验升级而非颠覆,API成本直降75%:DeepSeek-V3.2-Exp评测
人工智能·llm·deepseek
聚客AI6 小时前
🥺单智能体总是翻车?可能是你缺了这份LangGraph多Agent架构指南
人工智能·llm·agent
爱可生开源社区6 小时前
2025 年 9 月《大模型 SQL 能力排行榜》发布,新增 Kimi K2 最新版测评!
sql·llm
大模型教程6 小时前
半小时部署企业智能问答系统!MaxKB让知识管理效率翻倍
程序员·llm·agent
AI大模型6 小时前
告别数据隐私焦虑!我用FastGPT免费私有化部署了AI个人知识管理系统辅助写作
程序员·llm·agent
大模型教程6 小时前
基于Dify的RAG知识库搭建
程序员·llm·agent
mit6.8246 小时前
[VoiceRAG] 集成向量化 | Azure AI Search中建立自动化系统
llm·rag