把 Claude、Codex、Gemini 的引擎换成本地模型:免费、离线、数据不出本机

主界面

之前写过两篇 RunJam 的文章(github上的开源项目),一篇讲一个窗口跑 Claude Code、Codex、Gemini,一篇讲让 Claude 接 DeepSeek API 省钱。这篇说另一个玩法:把这三个 agent 全接到本地模型上,完全不花钱,代码也不出本机。

需求和难点

先说需求。用云端 API 有几个别扭的地方:按 token 收费,写代码跑多了账单不便宜;代码要发给第三方服务,公司项目或隐私数据,不是谁都放心;网络差或者离线的时候,根本没法干活。本地模型恰好把这三件事都解决------模型跑在自己电脑上,不收钱,内容不出门,断网也能用

本地模型以前有个门槛:装起来折腾。要先装 llama.cpp、下模型文件、自己起服务配端口,再让 agent 连上去,中间还隔着协议差异,搞一下午很正常。RunJam 把这套流程打包了,界面上点几下就行

原理其实简单。RunJam 内置一个 llama.cpp 管理器,负责下载模型、启动 llama-server 本地推理服务;服务跑起来走 OpenAI 兼容协议;RunJam 的本地代理再做一层协议转换,Anthropic、OpenAI、Gemini 三种协议互相翻译。所以不管界面用的是 Claude Code、Codex 还是 Gemini,底层模型都可以指到本地跑的那个。

配置步骤:

安装runjam:

好用记得 github star下

https://github.com/peintune/runjam/releases

下载模型

准备 llama-server。打开 设置 → Models,如果本机没装,页面顶部有黄色警告条,点链接下载放好就行。

下载模型。Local Models 区块列了推荐模型,比如 Ornith-1.0-9B-GGUF,点 Download 带进度条。【图:本地模型下载】想自己挑,就点 Add Model 手动添加 GGUF 文件,从 Hugging Face 下好放进模型文件夹,再回来选。

启动模型

启动服务。下载完点 Start,RunJam 拉起本地推理服务,有日志可以看。【图:启动界面】要换模型,先 Stop 再 Start 另一个。

本地模型启动后,也可以使用llama.server 自己的对话页:http://127.0.0.1:19090/。 但是注意,这里面就没有本地工具调用、skills, 只是最简单的大模型本身能力。所以还是建议将本地模型用在runjam的 内置Agent上。

使用本地模型对话

新建会话。New Session 里 agent 选 Claude(或 Codex、Gemini),模型下拉中本地模型单独在 Local Models 分组,带绿色圆点表示运行中,选中开聊。【图:模型选择】如果模型没在跑,下拉里会显示 Start server,点一下直接跳去启动。

到这一步就通了:界面是 Claude Code 的样子,背后干活的是你电脑上跑的模型。

说明

免费和数据安全,说具体点:

免费:本地推理不走 API,零 token 费用。模型本身是开源的,DeepSeek Coder、Qwen、Llama 这些,下载一次随便用。

数据安全:对话、配置、会话记录都存在本机 ~/.runjam,没有遥测,不上传。代码内容从头到尾在你电脑里,不经过第三方。

一句实话:本地模型的效果取决于硬件。一般家用机器跑 7B 到 14B 的模型,日常写代码、改 bug、问问题够用;特别复杂的任务还是云端大模型更强。我现在的用法是两条线:隐私敏感或要离线的场景用本地模型,复杂活交给云端,各取所长。

GitHub 上搜 RunJam,有现成安装包,也可以自己编译。装好试一下,花不了几分钟。

相关推荐
火山引擎开发者社区4 小时前
TLS for DeepSeek Harness 可观测实践:从系统总览到会话复盘
人工智能
数字融合6 小时前
透明化地铁线视频孪生综合监控项目技术
大数据·人工智能·virtualenv
鼎艺创新科技7 小时前
不依赖 UE/Unity:我们如何从零搭建一套国产三维 GIS 渲染引擎
人工智能·算法·unity·游戏引擎·三维电子沙盘
十三画者7 小时前
【文献分享】ConfRetro:融合3D构象信息的逆合成预测Transformer框架
人工智能·深度学习·数据挖掘·数据分析·transformer·数据可视化
前沿在线7 小时前
百度文心助手推出任务引擎 2.0,日活用户同比增长 83%,日均对话轮次增长超 2 倍
人工智能·ai·大模型
zandy10117 小时前
AI办公工具选哪个?千问办公、百度搭子、WorkBuddy三款高阶智能体深度拆解
人工智能·ai办公工具
mengpp_1234567 小时前
AIoT平台 vs 普通IoT平台 核心区别
人工智能
canonical_entropy7 小时前
可逆不是逆向运行:DeepSeek Harness 架构的数学本质
人工智能·架构·agent
别动我齐刘海8 小时前
机器人运动控制学习2——基础进阶
c++·人工智能·神经网络·学习·目标检测·机器学习·机器人