亲测!这种模式是完全可行的,只是对台式机的配置有点要求,但是跑 Qwen2.5:7B 完全可以,跑 Qwen3.6 有点吃力。
但是基本上基础的一些问题它都能解答,而且纯免费不消耗 Token。拿来玩一下是完全可以的,而且 Chatbox 可以在电脑、手机上使用。
一、环境准备
Windows 10/11 专业版(家庭版需开启 WSL2)
建议内存 8GB+,显存 4GB+(7B 模型)
二、安装 Ollama
2.1 下载安装包(国内镜像)
复制链接到浏览器下载:
https://cnb.cool/hex/ollama/-/releases/latest/download/OllamaSetup.exe
2.2 安装并配置远程访问
双击安装,完成后右下角托盘出现 Ollama 图标。
以管理员身份打开 PowerShell,执行:
powershell
[Environment]::SetEnvironmentVariable("OLLAMA_HOST", "0.0.0.0:11434", "Machine")
[Environment]::SetEnvironmentVariable("OLLAMA_ORIGINS", "*", "Machine")
重启 Ollama:托盘图标右键 Quit → 从开始菜单重新启动。
验证监听端口:
cmd
netstat -an | findstr ":11434"
应显示 0.0.0.0:11434 LISTENING。
三、下载模型
使用国内镜像加速:
cmd
set OLLAMA_MIRROR=https://ollama.fan
ollama pull qwen2.5:7b
其他常用模型:
| 模型 | 命令 | 大小 |
|---|---|---|
| 轻量级 | ollama pull llama3.2:3b |
2GB |
| 均衡(推荐) | ollama pull qwen2.5:7b |
4.7GB |
| 嵌入模型(知识库) | ollama pull qwen3-embedding:0.6b |
639MB |
四、安装 Tailscale(私网互联)
4.1 下载并登录
官网下载:https://tailscale.com/download
安装后托盘图标右键 Login,用 Google/GitHub 账号登录。
4.2 获取台式机 Tailscale IP
cmd
tailscale ip -4
输出类似 100.94.69.001。
五、公网访问(分享给无需安装 Tailscale 的朋友)
5.1 启用 Funnel
powershell
tailscale funnel --bg 11434
成功后生成公网地址,例如 https://desktop-xxx.ts.net/。
5.2 一键启动/停止脚本(桌面)
桌面先建两个 txt 文件,把下面的内容直接粘贴到 txt 文件保存后改后缀为 .bat,每次电脑开机后重启。
启动脚本 Start-Funnel.bat(UTF-8 编码):
bash
@echo off
chcp 65001 >nul
title Tailscale Funnel 控制器
color 0A
cls
echo ============================================================================
echo Tailscale Funnel 控制器
echo ============================================================================
echo.
echo [信息] 正在启动 Tailscale Funnel 端口 11434...
echo.
tailscale funnel --bg 11434 >nul 2>&1
if %errorlevel% equ 0 (
echo [成功] Funnel 已启动!
echo.
echo [公网地址] https://desktop-le6cueg.tail6eeac8.ts.net
echo.
echo [提示] 将此链接分享给任何人
) else (
echo [错误] Funnel 启动失败
)
echo.
echo ============================================================================
echo 按任意键关闭窗口...
pause >nul
exit
停止脚本 Stop-Funnel.bat:
bash
@echo off
chcp 65001 >nul
title Tailscale Funnel 控制器
color 0C
cls
echo ============================================================================
echo Tailscale Funnel 控制器
echo ============================================================================
echo.
echo [信息] 正在停止 Tailscale Funnel 端口 11434...
echo.
tailscale funnel 11434 off >nul 2>&1
if %errorlevel% equ 0 (
echo [成功] Funnel 已停止!
) else (
echo [提示] Funnel 本来就未运行
)
echo.
echo ============================================================================
echo 按任意键关闭窗口...
pause >nul
exit
六、笔记本客户端配置(Chatbox)
下载 Chatbox 并安装:https://chatboxai.app/zh
设置 → 模型提供方 → Ollama API
API 地址:填写为刚才台式机生成的 URL
公网 Funnel:https://你的域名.ts.net
模型名称:qwen2.5:7b
API Key:任意填写(如 ollama)
七、知识库配置(RAG)
Chatbox → 设置 → 知识库 → 创建知识库
嵌入模型选择 qwen3-embedding:0.6b
上传 PDF/Word/TXT 文档
新建对话,点击输入框上方的 📚 书本图标,勾选知识库
提问即可基于文档回答
速度优化:
- 检索 Top-K 块数调为 2~3
- 分块大小调为 256 tokens
八、常见问题
8.1 Ollama 命令找不到
将 C:\Users\你的用户名\AppData\Local\Programs\Ollama 添加到系统 Path 环境变量。
8.2 模型下载慢
cmd
set OLLAMA_MIRROR=https://ollama.fan
ollama pull 模型名
8.3 锁屏后连不上
设备管理器 → 网卡 → 电源管理 → 取消"允许计算机关闭此设备"
控制面板 → 电源选项 → 无线适配器设置 → 最高性能
8.4 卸载大模型释放空间
cmd
ollama rm qwen3.6:latest
ollama prune
九、总结
| 步骤 | 核心操作 |
|---|---|
| 安装 Ollama | 使用国内镜像下载安装 |
| 允许远程 | 设置环境变量 OLLAMA_HOST=0.0.0.0 |
| 下载模型 | ollama pull qwen2.5:7b |
| 安装 Tailscale | 获取 100.x.x.x IP |
| 公网访问 | tailscale funnel --bg 11434 |
| 客户端配置 | Chatbox 填入 API 地址 |
| 知识库 | 嵌入模型选 qwen3-embedding:0.6b |