把 Claude、Codex、Gemini 的引擎换成本地模型:免费、离线、数据不出本机

主界面

之前写过两篇 RunJam 的文章(github上的开源项目),一篇讲一个窗口跑 Claude Code、Codex、Gemini,一篇讲让 Claude 接 DeepSeek API 省钱。这篇说另一个玩法:把这三个 agent 全接到本地模型上,完全不花钱,代码也不出本机。

需求和难点

先说需求。用云端 API 有几个别扭的地方:按 token 收费,写代码跑多了账单不便宜;代码要发给第三方服务,公司项目或隐私数据,不是谁都放心;网络差或者离线的时候,根本没法干活。本地模型恰好把这三件事都解决------模型跑在自己电脑上,不收钱,内容不出门,断网也能用。

本地模型以前有个门槛:装起来折腾。要先装 llama.cpp、下模型文件、自己起服务配端口,再让 agent 连上去,中间还隔着协议差异,搞一下午很正常。RunJam 把这套流程打包了,界面上点几下就行。

原理其实简单。RunJam 内置一个 llama.cpp 管理器,负责下载模型、启动 llama-server 本地推理服务;服务跑起来走 OpenAI 兼容协议;RunJam 的本地代理再做一层协议转换,Anthropic、OpenAI、Gemini 三种协议互相翻译。所以不管界面用的是 Claude Code、Codex 还是 Gemini,底层模型都可以指到本地跑的那个。

配置步骤:

安装runjam:

好用记得 github star下

https://github.com/peintune/runjam/releases

下载模型

准备 llama-server。打开 设置 → Models,如果本机没装,页面顶部有黄色警告条,点链接下载放好就行。

下载模型。Local Models 区块列了推荐模型,比如 Ornith-1.0-9B-GGUF,点 Download 带进度条。【图:本地模型下载】想自己挑,就点 Add Model 手动添加 GGUF 文件,从 Hugging Face 下好放进模型文件夹,再回来选。

启动模型

启动服务。下载完点 Start,RunJam 拉起本地推理服务,有日志可以看。【图:启动界面】要换模型,先 Stop 再 Start 另一个。

本地模型启动后,也可以使用llama.server 自己的对话页:http://127.0.0.1:19090/。 但是注意,这里面就没有本地工具调用、skills, 只是最简单的大模型本身能力。所以还是建议将本地模型用在runjam的 内置Agent上。

使用本地模型对话

新建会话。New Session 里 agent 选 Claude(或 Codex、Gemini),模型下拉中本地模型单独在 Local Models 分组,带绿色圆点表示运行中,选中开聊。【图:模型选择】如果模型没在跑,下拉里会显示 Start server,点一下直接跳去启动。

到这一步就通了:界面是 Claude Code 的样子,背后干活的是你电脑上跑的模型。

说明

免费和数据安全,说具体点:

免费:本地推理不走 API,零 token 费用。模型本身是开源的,DeepSeek Coder、Qwen、Llama 这些,下载一次随便用。

数据安全:对话、配置、会话记录都存在本机 ~/.runjam,没有遥测,不上传。代码内容从头到尾在你电脑里,不经过第三方。

一句实话:本地模型的效果取决于硬件。一般家用机器跑 7B 到 14B 的模型,日常写代码、改 bug、问问题够用;特别复杂的任务还是云端大模型更强。我现在的用法是两条线:隐私敏感或要离线的场景用本地模型,复杂活交给云端,各取所长。

GitHub 上搜 RunJam,有现成安装包,也可以自己编译。装好试一下,花不了几分钟。

相关推荐
墨林陌12 分钟前
AI 热点日报(2026-11-13):黄仁勋辞任英伟达CEO,百度发智能组织,SpaceX斥740亿建算力
人工智能
喵了几个咪25 分钟前
GoWind Flow 拆解:一个 Go 工作流引擎与它的双模式设计器
开发语言·人工智能·后端·golang
aneasystone本尊35 分钟前
学习大模型训练的 DPO 与 GRPO:偏好对齐的简化与进化
人工智能
BYSJMG37 分钟前
计算机毕业设计选题推荐|【基于深度学习的电梯电动车违规进入检测研究】YOLO26m+可视化大屏
人工智能·深度学习·神经网络·目标检测·机器学习·计算机视觉·课程设计
盼小辉丶1 小时前
PyTorch强化学习实战(35)——多智能体强化学习
人工智能·pytorch·深度学习·强化学习
我就是全世界1 小时前
【轻AI越影视觉开发板】local_voice_process 语音功能模块教程——从音频采集到本地语音识别、多模态视觉交互与 ESP32-S31 硬核对比
人工智能·语音识别
hpoenixf1 小时前
Agent 测评的身份难题:一次任务换了模型,历史成绩还能算数吗?
人工智能
hpoenixf1 小时前
专家、Subagent、Review、Judge:都是另一个模型,为什么不是同一回事?
人工智能