千问Qwen7B chat:本地部署及网页端使用

基于前面的安装经验,千问大模型的本地部署并不算难,主要时间用在大模型文件的下载上。同时系统运行对硬件也有较高的要求,本机的硬件配置为N卡3060,显存12G。

  1. 使用conda创建虚拟环境,主要版本如下:

Python 3.9.18

CUDA 12.1

pytorch 2.2.2

  1. 克隆代码到本地

git clone https://github.com/QwenLM/Qwen.git

  1. 进入Qwen目录,执行安装命令

安装依赖

pip install -r requirements.txt

安装 web_demo 依赖

pip install -r requirements_web_demo.txt

  1. 运行命令

python web_demo.py --server-port 8087 --server-name "0.0.0.0"

会下载很多模型文件,需要一点时间。下载完成后启动界面如下

在输入框里输入沟通内容"你是谁"。我们看一下后台输出:

相关推荐
缘友一世15 小时前
Model Context Protocol (MCP) 安全风险与攻击方式解析
安全·llm·mcp
Baihai IDP15 小时前
2025 年大语言模型架构演进:DeepSeek V3、OLMo 2、Gemma 3 与 Mistral 3.1 核心技术剖析
人工智能·ai·语言模型·llm·transformer
大模型教程19 小时前
本地AI知识库问答开源技术实现(三)--配置模型和知识库
程序员·llm·agent
AI大模型20 小时前
复盘我的第一个 大模型Agent:从核心循环到模块化架构的演进之路
程序员·llm·agent
一个处女座的程序猿1 天前
LLMs之Hallucinate:《Why Language Models Hallucinate》的翻译与解读
llm·幻觉
Awesome Baron2 天前
《Learning Langchain》阅读笔记13-Agent(1):Agent Architecture
笔记·langchain·llm
智泊AI2 天前
Transformer 的训练过程是什么样子的?一文讲清:Transformer 的结构及训练过程
llm
聚客AI2 天前
⚠️Embedding选型指南:五步搞定数据规模、延迟与精度平衡!
人工智能·llm·掘金·日新计划
百度Geek说2 天前
大模型评测实践与思考
llm
深度学习机器2 天前
Embedding Gemma,谷歌发布的小而精向量模型,仅需0.3B|附RAG实战代码
google·llm·openai