千问Qwen7B chat:本地部署及网页端使用

基于前面的安装经验,千问大模型的本地部署并不算难,主要时间用在大模型文件的下载上。同时系统运行对硬件也有较高的要求,本机的硬件配置为N卡3060,显存12G。

  1. 使用conda创建虚拟环境,主要版本如下:

Python 3.9.18

CUDA 12.1

pytorch 2.2.2

  1. 克隆代码到本地

git clone https://github.com/QwenLM/Qwen.git

  1. 进入Qwen目录,执行安装命令

安装依赖

pip install -r requirements.txt

安装 web_demo 依赖

pip install -r requirements_web_demo.txt

  1. 运行命令

python web_demo.py --server-port 8087 --server-name "0.0.0.0"

会下载很多模型文件,需要一点时间。下载完成后启动界面如下

在输入框里输入沟通内容"你是谁"。我们看一下后台输出:

相关推荐
SpikeKing4 小时前
Server - 使用 Docker 配置 PyTorch 研发环境
pytorch·docker·llm
掘金安东尼12 小时前
字节-Trae、阿里-通义灵码、腾讯-CodeBuddy,为什么都在“卷”AI编码?
面试·llm·github
土豆125016 小时前
告别“专属”编辑器:为什么 GitHub Copilot 是比 Cursor 更优的 AI 编程选择
llm·cursor·github copilot
知其然亦知其所以然17 小时前
RAG 结果太水?用 RRF + Reranker 重排,效果翻倍提升!
java·后端·llm
磊叔的技术博客17 小时前
Spring AI Chat Memory 实战指南:Local 与 JDBC 存储集成
spring·llm·openai
憨憨睡不醒啊1 天前
如何让LLM智能体开发助力求职之路——构建属于你的智能体开发知识体系📚📚📚
面试·程序员·llm
柯南二号1 天前
深入理解 Agent 与 LLM 的区别:从智能体到语言模型
人工智能·机器学习·llm·agent
Q同学1 天前
TORL:工具集成强化学习,让大语言模型学会用代码解题
深度学习·神经网络·llm
人肉推土机2 天前
AI Agent 架构设计:ReAct 与 Self-Ask 模式对比与分析
人工智能·大模型·llm·agent
洗澡水加冰2 天前
n8n搭建多阶段交互式工作流
后端·llm