【保姆级教程】:开源 Qwen3 本地化部署实操详细教程

一、教学环境

1、1Panel:现代化、开源Linux服务器管理面板

2、Ollama:开源大语言模型管理平台

3、MaxKB:强大易用的企业级 AI 助手

二、实操步骤

步骤1、1Panel 安装:

安装说明参见在线文档:在线安装 - 1Panel 文档:

操作比较简单,参照文档具体操作,此处不做详细说明。

注意事项:如果是公有云,记得开通网络策略,确保1Panel能正常访问。

步骤2、通过1Panel安装Ollama:

点击进入 1Panel 应用商店,点击AI,选择Ollama点击安装

点击安装输入容器名称,开启端口外部访问,其他保持默认点击确认开始安装。

安装完成后,点击服务端口访问Ollama

如下图则代表安装成功:

⚠️其中如果无法访问则记得开通安全则规则,添加11434端口能被访问,具体添加内容如下图所示:

步骤3、通过1Panel安装基于Ollama玩哼Qwen3模型安装:

进入1Panel的AI管理中的模型管理,点击【添加模型】,需要确保 Ollama 已经安装完成,状态为已启动。

点击添加模型后,点击快速跳转进入Ollama官网,找到 Qwen3 模型,根据服务器要求选择需要部署Qwen模型的模型,如qwen3:0.6b,或 qwen3:8b,需要结合自己部署Ollama的服务器的资源情况以及自己的模型使用情况选择本次实操我选择了0.6b和8b,部署到了8c16G的Centos服务器上。

选好模型复制参数,然后在1Panel页面中添加模型名称,点击添加,1Panel开始自行拉取qwen3:8b模型。

可以实时跟踪拉去进度,经过测试0.6b的拉取时间大概在1-2分钟,8b拉取时间大概在5-10分钟。可以通过日志页面实时查看模型拉取进度。

拉取完成后最终模型状态展示为成功即可,如下图所示:

点击运行输入相关内容可以和Qwen3进行对话:

步骤4、通过1Panel安装MaxKB:

此处参见MaxKB官方安装文章安装即可,同上述的Ollama方式,不做赘述。

步骤5、基于 MaxKB 添加 Qwen 模型。

进入系统管理中的模型设置参照如下图所示进行模型配置,其中基础模型输入qwen3:0.6b,或 qwen3:8b,API URL输入Ollama的地址即可,API key输入任意字符串即可,点击保存,则完成模型对接。

本次实操添加了0.6b和8b的模型,如下图所示,代表模型添加成功。

步骤6、基于 MaxKB 结合 Qwen3模型搭建AI小助手实现问答,就可以快速体验 Qwen 最新的大语言模型啦。

相关推荐
王中阳Go12 小时前
5.27 分钟干完后端和全部测试:一场三小时笔试的五个失分点,四个不在代码上
大数据·数据库·人工智能·后端·大语言模型
杭州华望MBSE2 天前
AI将载着MBSE驶向哪里?从前台工具转向工程语义与验证层
人工智能·大语言模型·mbse·sysml·国产工业软件
龙智DevSecOps解决方案3 天前
ITSM案例:从Freshdesk到HaloITSM,某监管科技企业搭建安全可扩展的ITSM平台实践
it运维·it服务管理·龙智·企业服务管理·haloitsm
AI人工智能+5 天前
智能文档抽取系统通过“OCR+大模型”双引擎,实现从图像到结构化数据的精准转化,突破传统OCR仅识别文字的局限
自然语言处理·ocr·大语言模型·文档抽取
Rocky Ding*5 天前
一文读懂Kimi K3.1 Pro核心基础知识
论文阅读·人工智能·深度学习·机器学习·aigc·大语言模型·ai-native
艺杯羹5 天前
Android无障碍自动化死循环全解:从动态角标伪匹配到单向状态机防御实战
人工智能·自动化·大语言模型
孙琦Ray6 天前
比特币 Core 取消 AI 易发现漏洞的保密期
大语言模型·开源安全·比特币·漏洞披露·bitcoin core
王中阳Go6 天前
两个入口答案不一致先别调模型:6 行入口口径对账表(附脚本)
人工智能·后端·python·大语言模型·1024程序员节
爱听歌的周童鞋8 天前
MIT 6.5940 | TinyML 与高效 AI 计算 | Fall 2026 | 笔记 | Lecture 12:Transformer and LLM
transformer·大语言模型·tinyml·mit 6.5940·高效 ai 计算
EDPJ11 天前
MoE 与推测解码(Speculative Decoding)加速:为什么慢、什么时候慢、怎么让它不慢?
llm·负载均衡·大语言模型·moe·推测解码(sd)