用 Router 模式重构 Agent,成本砍掉 90%

Agent-Cost 之言:

Agent 烧 token 最大的坑不是"大模型贵",是"简单活也上了大模型"。

OpenSquilla 干了件事:给 Agent 装了个本地路由大脑,先给任务估个难度分,简单活儿丢给小模型,硬推理才上 Opus。

不调大模型做路由(不然省个寂寞),纯本地 ML 判断,零额外成本。

账单直接 -90%,效果不打折。

开源的,微内核架构,接入你现有 Agent 不难。做 AI 应用的可以看看。

路由判断全在本地跑,你的对话内容根本出不了机器

路由决策,全程在你机器上"悄悄算"

OpenSquilla 压根儿不把你的 prompt 往外送------所有分类判断都在本地跑完,靠的是 LightGBM + ONNX 分类器,轻量又迅猛。它像个体检医生,给消息量量"长度"、测测"语言"、扫一眼"代码块"和"关键词",再顺带抓一把"语义特征",最后打出个难度分,扔进四个档位里,每个档位自动匹配对应价位的模型。

整个过程你毫无感知,但隐私已经焊死在本地,谁也偷不走;速度更是离谱,分类延迟 不到 5 毫秒,比眨半下眼还快。

三步跑起来:本地路由装上,你的 Agent 立刻开始"省"钱

装法我首推 uv,别折腾 pip + venv 那套了。

uv 是 Astral(就是做 Ruff 那帮人)出的 Python 包管理工具,快得离谱,依赖隔离也干净,Windows / macOS / Linux 通吃。

没装过的话,先把它请进来------

Linux / macOS 一行搞定:

Windows用户用PowerShell:

装好 uv,剩下的就只是一行命令的距离------复制、粘贴、敲回车,OpenSquilla 自动落位,连配置都替你省了。

这里带recommended会一起装上SquillaRouter的依赖,包括ONNX Runtime、LightGBM这些。第一次装需要联网下载,稍等一会儿就好

第三步,配罝并启动

装好后,运行初始化向导:

启动后是个 TUI 向导,挨个问你 provider、模型名、API key。

中间有一项 Enable Router ,默认是 off------一定给它打开。

路由才是 OpenSquilla 的核心,关了它你就是多了个壳。

嫌一步步敲麻烦?有 OpenRouter key 的话可以预填配置,跳过交互直接起:

配罝完,启动网关:

默认跑在127.0.0.1:18791,

浏览器打开http://127.0.0.1:18791/control/

就能看到一个挺清爽的Web界面,聊天、看状态、管技能都在里面。

每天日常使用:

用命令行聊

喜欢终端的朋友,直接敲:

复制代码
opensquilla chat

会进到一个交互式REPL,流式输出,支持排队输入,还能用斜杠命令发现各种功能。如果想跑单次任务,也行:

复制代码
opensquilla agent -m "帮我写一段Python爬虫代码"

让路由自己干活

路由默认是开的,你也可以手动调整。比如想换个路由策略:

复制代码
opensquilla configure router --router recommended

想关掉路由用固定模形:

复制代码
opensquilla configure router --router disabled

查查看当前接了哪些提供商:

复制代码
opensquilla providers list

看看它们健不健康:

复制代码
opensquilla providers status

搜素和技能

OpenSquilla自带网页搜素,支持DuckDuckGo、Bocha、Brave、Tavily、Exa这些。配罝也简单:

复制代码
opensquilla configure search --search-provider duckduckgo

它还带了15个内置技能,写代码、操作GitHub、生成PPT和PDF、看天气这些,用的时候才加载,不占用资源。更狠的是它支持MCP协议,可以当MCP客户端,也能自己跑成MCP服务器。

查账单

想知道花了多少token?随时看:

复制代码
opensquilla cost

每轮对话、每个session的成本都给你rollup得明明白白。】

记忆四层分级:工作、情景、语义、原始记忆分层管理,配合向量检索 + BM25 搜索,对话越久越懂你偏好,绝不"初见即忘"。

安全沙箱兜底:Linux 用 Bubblewrap,macOS 用 Seatbelt,Windows 原生隔离------代码执行和工具调用被牢牢锁住,动不了系统一根手指。

入口随心切换:Web UI、CLI、Slack、Telegram、Discord、飞书、钉钉、企业微信、Matrix、QQ 全支持。同一个 Agent,多端共用,记忆和体验完全同步,无缝穿梭

最后:

不吹大词,它解决的就是一个特别具体的问题:别再为简单任务付顶级模型的钱。

本地路由、隐私不出内网、三步跑起来、账单砍九成------对独立开发者和三五人小团队来说,这已经是目前性价比最高的 Agent 改造方案了。

项目 0.5.0 Preview 1,GitHub 直接搜 OpenSquilla

相关推荐
微三云 - 廖会灵 (私域系统开发)3 天前
企业大模型应用工程化思考:跳出 Demo 陷阱,构建「业务‑资产‑Agent」三层落地架构
人工智能·矩阵·重构
慧都小项3 天前
Python 跨文件重构怎么验证?PyCharm 用法查找、重构预览与测试流程
python·重构·pycharm·单元测试
江畔柳前堤3 天前
字节跳动·大模型应用知识手册
前端·人工智能·深度学习·opencv·目标检测·重构·transformer
微三云 - 廖会灵 (私域系统开发)6 天前
私域电商多端商城系统架构实践:小程序 / APP / H5 一套后端如何落地
矩阵·重构·零售
智慧物业老杨6 天前
人机协同的物业服务重构:技术落地路径与系统化思考
java·大数据·人工智能·重构·系统架构
微三云 - 廖会灵 (私域系统开发)6 天前
多端商城统一账号体系设计实践:小程序 / APP / H5 登录打通与账号合并
矩阵·重构·自动化·零售
微三云 - 廖会灵 (私域系统开发)7 天前
裂变营销系统架构设计:推三返一(三三循环)模式业务拆解、奖励算法与合规方案
重构·自动化·零售
江畔柳前堤8 天前
On-Policy Distillation 全景深潜
人工智能·网络协议·目标检测·http·机器学习·chatgpt·重构
液态不合群9 天前
低代码不是捷径,是企业数字化转型的底层重构
低代码·重构
Alinket9 天前
当 AI 走进传感器:嵌入式人工智能如何重构设备智能
人工智能·物联网·重构·健康医疗·无线通信·智能硬件·iot