用 Router 模式重构 Agent,成本砍掉 90%

Agent-Cost 之言:

Agent 烧 token 最大的坑不是"大模型贵",是"简单活也上了大模型"。

OpenSquilla 干了件事:给 Agent 装了个本地路由大脑,先给任务估个难度分,简单活儿丢给小模型,硬推理才上 Opus。

不调大模型做路由(不然省个寂寞),纯本地 ML 判断,零额外成本。

账单直接 -90%,效果不打折。

开源的,微内核架构,接入你现有 Agent 不难。做 AI 应用的可以看看。

路由判断全在本地跑,你的对话内容根本出不了机器

路由决策,全程在你机器上"悄悄算"

OpenSquilla 压根儿不把你的 prompt 往外送------所有分类判断都在本地跑完,靠的是 LightGBM + ONNX 分类器,轻量又迅猛。它像个体检医生,给消息量量"长度"、测测"语言"、扫一眼"代码块"和"关键词",再顺带抓一把"语义特征",最后打出个难度分,扔进四个档位里,每个档位自动匹配对应价位的模型。

整个过程你毫无感知,但隐私已经焊死在本地,谁也偷不走;速度更是离谱,分类延迟 不到 5 毫秒,比眨半下眼还快。

三步跑起来:本地路由装上,你的 Agent 立刻开始"省"钱

装法我首推 uv,别折腾 pip + venv 那套了。

uv 是 Astral(就是做 Ruff 那帮人)出的 Python 包管理工具,快得离谱,依赖隔离也干净,Windows / macOS / Linux 通吃。

没装过的话,先把它请进来------

Linux / macOS 一行搞定:

Windows用户用PowerShell:

装好 uv,剩下的就只是一行命令的距离------复制、粘贴、敲回车,OpenSquilla 自动落位,连配置都替你省了。

这里带recommended会一起装上SquillaRouter的依赖,包括ONNX Runtime、LightGBM这些。第一次装需要联网下载,稍等一会儿就好

第三步,配罝并启动

装好后,运行初始化向导:

启动后是个 TUI 向导,挨个问你 provider、模型名、API key。

中间有一项 Enable Router ,默认是 off------一定给它打开

路由才是 OpenSquilla 的核心,关了它你就是多了个壳。

嫌一步步敲麻烦?有 OpenRouter key 的话可以预填配置,跳过交互直接起:

配罝完,启动网关:

默认跑在127.0.0.1:18791

浏览器打开http://127.0.0.1:18791/control/

就能看到一个挺清爽的Web界面,聊天、看状态、管技能都在里面。

每天日常使用:

用命令行聊

喜欢终端的朋友,直接敲:

复制代码
opensquilla chat

会进到一个交互式REPL,流式输出,支持排队输入,还能用斜杠命令发现各种功能。如果想跑单次任务,也行:

复制代码
opensquilla agent -m "帮我写一段Python爬虫代码"

让路由自己干活

路由默认是开的,你也可以手动调整。比如想换个路由策略:

复制代码
opensquilla configure router --router recommended

想关掉路由用固定模形:

复制代码
opensquilla configure router --router disabled

查查看当前接了哪些提供商:

复制代码
opensquilla providers list

看看它们健不健康:

复制代码
opensquilla providers status

搜素和技能

OpenSquilla自带网页搜素,支持DuckDuckGo、Bocha、Brave、Tavily、Exa这些。配罝也简单:

复制代码
opensquilla configure search --search-provider duckduckgo

它还带了15个内置技能,写代码、操作GitHub、生成PPT和PDF、看天气这些,用的时候才加载,不占用资源。更狠的是它支持MCP协议,可以当MCP客户端,也能自己跑成MCP服务器。

查账单

想知道花了多少token?随时看:

复制代码
opensquilla cost

每轮对话、每个session的成本都给你rollup得明明白白。】

记忆四层分级:工作、情景、语义、原始记忆分层管理,配合向量检索 + BM25 搜索,对话越久越懂你偏好,绝不"初见即忘"。

安全沙箱兜底:Linux 用 Bubblewrap,macOS 用 Seatbelt,Windows 原生隔离------代码执行和工具调用被牢牢锁住,动不了系统一根手指。

入口随心切换:Web UI、CLI、Slack、Telegram、Discord、飞书、钉钉、企业微信、Matrix、QQ 全支持。同一个 Agent,多端共用,记忆和体验完全同步,无缝穿梭

最后:

不吹大词,它解决的就是一个特别具体的问题:别再为简单任务付顶级模型的钱。

本地路由、隐私不出内网、三步跑起来、账单砍九成------对独立开发者和三五人小团队来说,这已经是目前性价比最高的 Agent 改造方案了。

项目 0.5.0 Preview 1,GitHub 直接搜 OpenSquilla

相关推荐
紫霄芯语1 小时前
从数周压缩到十分钟:ChatHLS 用大模型流水线重构 HLS 设计流程
重构
奈斯先生Vector3 小时前
AI 视频不是会动的图片:用 Shot Contract、时间码与音画质检构建可交付流水线
人工智能·重构·架构·prompt·aigc·音视频
数据百晓通5 小时前
AI 重构治理逻辑:2026 数据治理厂商的能力进化与分水岭
人工智能·重构
DS随心转小程序5 小时前
AI 导出鸭重构转化链路,全面优化腾讯元宝输出 word 文档办公效率
人工智能·重构·aigc·word·豆包·deepseek·ai导出鸭
月光船幽幽5 小时前
铁牌协议卡:节流与重构
python·重构
xingyuzhisuan7 小时前
团队实践:引入 Vera 1.1 之后,视频内容团队工作流重构
人工智能·重构·音视频
Vaxmzzy20 小时前
AI直播浪潮下的行业重构:从“人海战术”到“智能基建”
人工智能·重构
a1122998211 天前
团体标准 T/CGCC 119-2026 正式实施:如何利用合规框架重构企业的 AI 可见性考核标准?
人工智能·重构
IT小白杨1 天前
从Chromium重构到真实ARM云手机:多账号隔离方案的技术演进
大数据·经验分享·智能手机·重构·安全架构·指纹浏览器