用 Router 模式重构 Agent,成本砍掉 90%

Agent-Cost 之言:

Agent 烧 token 最大的坑不是"大模型贵",是"简单活也上了大模型"。

OpenSquilla 干了件事:给 Agent 装了个本地路由大脑,先给任务估个难度分,简单活儿丢给小模型,硬推理才上 Opus。

不调大模型做路由(不然省个寂寞),纯本地 ML 判断,零额外成本。

账单直接 -90%,效果不打折。

开源的,微内核架构,接入你现有 Agent 不难。做 AI 应用的可以看看。

路由判断全在本地跑,你的对话内容根本出不了机器

路由决策,全程在你机器上"悄悄算"

OpenSquilla 压根儿不把你的 prompt 往外送------所有分类判断都在本地跑完,靠的是 LightGBM + ONNX 分类器,轻量又迅猛。它像个体检医生,给消息量量"长度"、测测"语言"、扫一眼"代码块"和"关键词",再顺带抓一把"语义特征",最后打出个难度分,扔进四个档位里,每个档位自动匹配对应价位的模型。

整个过程你毫无感知,但隐私已经焊死在本地,谁也偷不走;速度更是离谱,分类延迟 不到 5 毫秒,比眨半下眼还快。

三步跑起来:本地路由装上,你的 Agent 立刻开始"省"钱

装法我首推 uv,别折腾 pip + venv 那套了。

uv 是 Astral(就是做 Ruff 那帮人)出的 Python 包管理工具,快得离谱,依赖隔离也干净,Windows / macOS / Linux 通吃。

没装过的话,先把它请进来------

Linux / macOS 一行搞定:

Windows用户用PowerShell:

装好 uv,剩下的就只是一行命令的距离------复制、粘贴、敲回车,OpenSquilla 自动落位,连配置都替你省了。

这里带recommended会一起装上SquillaRouter的依赖,包括ONNX Runtime、LightGBM这些。第一次装需要联网下载,稍等一会儿就好

第三步,配罝并启动

装好后,运行初始化向导:

启动后是个 TUI 向导,挨个问你 provider、模型名、API key。

中间有一项 Enable Router ,默认是 off------一定给它打开

路由才是 OpenSquilla 的核心,关了它你就是多了个壳。

嫌一步步敲麻烦?有 OpenRouter key 的话可以预填配置,跳过交互直接起:

配罝完,启动网关:

默认跑在127.0.0.1:18791

浏览器打开http://127.0.0.1:18791/control/

就能看到一个挺清爽的Web界面,聊天、看状态、管技能都在里面。

每天日常使用:

用命令行聊

喜欢终端的朋友,直接敲:

复制代码
opensquilla chat

会进到一个交互式REPL,流式输出,支持排队输入,还能用斜杠命令发现各种功能。如果想跑单次任务,也行:

复制代码
opensquilla agent -m "帮我写一段Python爬虫代码"

让路由自己干活

路由默认是开的,你也可以手动调整。比如想换个路由策略:

复制代码
opensquilla configure router --router recommended

想关掉路由用固定模形:

复制代码
opensquilla configure router --router disabled

查查看当前接了哪些提供商:

复制代码
opensquilla providers list

看看它们健不健康:

复制代码
opensquilla providers status

搜素和技能

OpenSquilla自带网页搜素,支持DuckDuckGo、Bocha、Brave、Tavily、Exa这些。配罝也简单:

复制代码
opensquilla configure search --search-provider duckduckgo

它还带了15个内置技能,写代码、操作GitHub、生成PPT和PDF、看天气这些,用的时候才加载,不占用资源。更狠的是它支持MCP协议,可以当MCP客户端,也能自己跑成MCP服务器。

查账单

想知道花了多少token?随时看:

复制代码
opensquilla cost

每轮对话、每个session的成本都给你rollup得明明白白。】

记忆四层分级:工作、情景、语义、原始记忆分层管理,配合向量检索 + BM25 搜索,对话越久越懂你偏好,绝不"初见即忘"。

安全沙箱兜底:Linux 用 Bubblewrap,macOS 用 Seatbelt,Windows 原生隔离------代码执行和工具调用被牢牢锁住,动不了系统一根手指。

入口随心切换:Web UI、CLI、Slack、Telegram、Discord、飞书、钉钉、企业微信、Matrix、QQ 全支持。同一个 Agent,多端共用,记忆和体验完全同步,无缝穿梭

最后:

不吹大词,它解决的就是一个特别具体的问题:别再为简单任务付顶级模型的钱。

本地路由、隐私不出内网、三步跑起来、账单砍九成------对独立开发者和三五人小团队来说,这已经是目前性价比最高的 Agent 改造方案了。

项目 0.5.0 Preview 1,GitHub 直接搜 OpenSquilla

相关推荐
智购科技自动贩卖机3 小时前
自动售货机嵌入式状态机设计实战:从45个事件源到层次型状态机的工程重构
大数据·人工智能·stm32·物联网·重构·硬件架构
2501_928996227 小时前
GitLab CVE-2026-19478漏洞解析:Gitaly ref攻击绕过审计与中科热备下的代码资产保护重构
重构·gitlab
Qimooidea10 小时前
祁木 CAD Translator 新版系统级重构与速度跃升实战
大数据·重构
微三云 - 廖会灵 (私域系统开发)11 小时前
稀缺品类商业新范式:预售易货,重构高端商品的需求、库存与用户增长闭环
重构
天辛大师12 小时前
天心大师谈重新学会传统文化,AI时代的心经奥义
大数据·人工智能·随机森林·重构·启发式算法
dog25015 小时前
重构 BBR 的 buffer 动力学
重构
你别说话了15 小时前
Webpack 如何迁移重构到 Vite
前端·webpack·重构
万岳科技系统开发16 小时前
私域直播AI数字人系统:AI技术如何重构企业直播运营模式
大数据·人工智能·重构
ggb喔1 天前
AI 原生攻防时代:2026 年渗透测试与逆向开发的范式重构
人工智能·重构
微三云 - 廖会灵 (私域系统开发)1 天前
重资产的突围:当酒店遇上 RWA,用服务权益数字化重构产业供需关系
人工智能·重构