"
减少云端 Token 消耗,让工作数据完全在本地运行------只需 Herdsman + Token Router,全程免填 API / Key。
如果你希望在 Codex(现已更名为 ChatGPT) 中使用本地大模型,减少云端 Token 消耗,或者希望代码、工作数据完全在本地运行,那么这篇教程将带你一步步完成配置。
整个过程无需手动填写 API、Base URL 或 API Key ,只需要通过 Herdsman(牧马人本地推理引擎) 部署本地模型,再借助 Token Router 一键完成配置,即可在 ChatGPT(原 Codex)中直接调用本地模型。
第一步:安装 Herdsman(牧马人本地推理引擎)
首先需要安装 Herdsman
Herdsman下载地址:https://flowyaipc.cn/ai-engine

Herdsman下载好以后,打开模型中心,选择智能对话场景,根据自己的电脑配置下载合适的本地模型,不过Herdsman会检测你的硬件配置给你推荐合适的模型。

模型参数越大,对电脑硬件要求越高,因此建议根据自己的显卡显存或系统内存进行选择。
建议
8GB 显存:建议选择 7B 左右模型
12GB ~ 16GB 显存:可选择 14B 左右模型
更高配置:可根据需求选择更大的模型
⚠️ 注意如果电脑显存或内存不足,不建议盲目运行大参数模型,否则容易出现爆显存、爆内存、运行失败或速度极慢等情况。
模型下载完成后,点击启动模型。
启动时建议将上下文(Context Length)调整到最大值,这样可以获得更好的长文本和理解能力。

等待模型启动完成后,即可进行下一步。

第二步:下载安装 Token Router
下载地址:https://flowyaipc.cn/token-router

Token Router 是 FlowyAIPC 生态中的智能 Token 路由引擎,也是整个端云模型的调度中心。
它可以将 Herdsman 提供的本地模型以及 FlowyAIPC 提供的云端模型统一接入多个 AI Agent,并通过可视化方式完成配置,无需手动填写任何 API 或复杂参数。

第三步:选择路由策略
打开 Token Router 后,可以看到三种不同的路由策略。
智能模式(推荐)
智能模式会自动分析当前任务的复杂程度。
-
简单任务优先调用 Herdsman 本地模型,降低 Token 消耗。
-
复杂任务自动切换至 FlowyAIPC 云端模型,在保证效果的同时兼顾成本。
如果你希望获得最佳的使用体验,推荐选择智能模式。
端侧模式
端侧模式会全部使用 Herdsman 本地模型完成任务。
适合:
-
注重数据隐私
-
离线使用
-
不希望消耗云端 Token
-
本地电脑性能较好的用户
云端模式
云端模式会全部使用 FlowyAIPC 云端模型执行任务。
适合:
-
对模型能力要求更高
-
不希望占用本地硬件资源
-
希望获得更稳定、更强推理能力的场景
同时还支持设置云端 Token 配额,超过设定额度后自动停止调用,方便控制积分消耗。

第四步:连接 Herdsman 本地模型
切换到 端侧配置 页面。
点击 Herdsman 模型列表。

如果本地模型已经成功启动,Token Router 会自动识别当前运行中的模型。
选择对应模型即可完成连接。

整个过程均为可视化操作,无需配置 API、无需填写 Endpoint,也无需复制任何 Key。
第五步:一键配置 Codex(ChatGPT)
完成模型连接后,进入 运行 页面。
点击 一键配置 Codex。

等待配置完成即可。
"
OpenAI 已将 Codex 更名为 ChatGPT,因此如果你的客户端显示为 ChatGPT,操作方式完全一致。
第六步:开始使用本地模型
打开 ChatGChatGPT(原Codex)如何接入本地模型?实现token自由(2026 最新版)PT(原 Codex)。
进入新的对话。
在模型列表中选择 TokenRouter。

至此,本地模型已经成功接入,可以开始正常聊天、代码生成、代码修改以及其它 AI 能力。


为什么推荐使用 Token Router?
传统方式接入本地模型,通常需要配置 API 地址、API Key、模型名称等参数,对于普通用户来说学习成本较高。
而 Token Router ,它将 Herdsman 本地模型与 FlowyAIPC 云端模型统一管理,通过可视化界面即可完成所有配置。
除了支持 ChatGPT(原 Codex),还支持 OpenClaw、Hermes、Claude Code、OpenCode、CodeBuddy、WorkBuddy 等多个 AI Agent,实现一次配置、多端使用。
同时,Token Router 提供三种路由策略:
-
智能模式:自动判断任务复杂度,本地模型与云端模型智能切换,兼顾效果与成本。
-
端侧模式:所有任务均由 Herdsman 本地模型完成,适合隐私和离线场景。
-
云端模式:全部使用 FlowyAIPC 云端模型,并支持 Token 配额限制,更方便管理积分消耗。
对于希望兼顾 本地 AI、云端 AI、成本控制以及使用体验 的用户来说,Token Router 提供了一种更加简单、高效且无需复杂配置的解决方案。