不说话的AI模型,把千亿大模型的活儿抢了:JEV决策模型,消费级笔记本就能跑

摘要:前OpenAI研究员、RLHF核心贡献者Diogo Almeida发布JEV决策模型,不生成任何文本,只输出带校准概率的结构化决策。速度比前沿大模型快40到200倍,成本低400倍,输出永久免费。APUS开源复现的fast-browser-use证明:一台M2 Pro消费级笔记本,18秒完成浏览器自动化检索,全程离线,零API费用。这不是更快的模型,是Agent架构的"快慢分工"革命。

一、JEV只做三件事,但每件都是Agent的高频刚需

JEV的API极简,只处理三种结构化问题:

原语 功能 返回结果
Choice 从给定选项中选择 最优选项加概率分布
Score 在自定义尺度上打分 连续数值加置信度
Noul 判断真伪 0到1之间的概率

三种问题可以在同一次调用中混用,并行产出。给它一个state和一组questions,直接返回结构化JSON。

例如收到客服邮件,JEV同时判断:应该分给哪个部门(销售85%)、紧急程度(高92%)、退款风险(中45%)。程序拿到0.95可以和阈值比较、触发告警、自动分派工单。拿到"看起来比较紧急"这句话,程序什么都做不了。

二、为什么快:跳过自回归解码

传统大模型逐Token生成,每多一个判断就要多生成一段文本,耗时线性增长。JEV的核心逻辑是"跳过自回归解码,隐状态直接打分"------保留Transformer前端,拿掉自回归解码,直接从中间层输出判断。一次前向计算完成所有回答,问1个问题和问100个问题耗时几乎相同。

端到端延迟被压缩到70到500毫秒。对比前沿大模型通常3秒以上的响应时间,这是数量级的差异。

三、RLCD:让置信度变得可信任

Diogo Almeida是RLHF的早期贡献者,但他离开OpenAI后对RLHF的局限做了深刻反思:RLHF让大模型为了讨好人而瞎回答,面对人都无法打分的复杂问题时,模型会"不懂装懂"。

RLCD(校准决策强化学习)的核心目标只有一个:让模型输出的置信度与实际正确率匹配。当模型声称有70%把握时,约70%的相关预测应当正确。开发者可以据此设置三档路由:高于90%自动执行,70%到90%提交人工确认,低于70%升级至更强模型。

RLCD不是在优化"答案好不好看",而是在优化"答案能不能被机器信任"。

四、开源复现:一台消费级笔记本,零API费用

JEV发布后一周内,全球开发者社区涌现出八个开源复现项目。APUS的fast-browser-use是最具落地价值的样本之一:

指标 数据
测试设备 Apple M2 Pro消费级笔记本
维基百科检索中位耗时 约18秒
表单填报、站内导航耗时 约3秒
单任务模型打分次数 仅4次
云端调用 零
API费用 零
数据流向 不出本机

Bespoke Labs的Nimble是目前最接近JEV性能的开源方案。基于Qwen3.5-9B,用不到3000个训练样本做LoRA微调,与参考标签的一致率从66.36%提升至90.12%(JEV官方基准93.21%),Apache 2.0协议,可本地部署、可二次微调。

五、Agent架构的"快慢分工"

JEV验证了一个判断:Agent不应该全部由大模型驱动。80%的调用是"这封邮件是不是垃圾邮件""在五个接口里选哪个"这类高频原子化判断,不该让一个千亿参数的庞然大物在数秒内逐字敲出一串JSON。

必须交给大模型的,是开放式内容生成、复杂多步推理、问题边界不清的任务。分类、路由、评分、风险判断------这些"智能if语句",交给决策模型。

把昂贵的算力用在该用的地方。不需要用GPT-6来判断一封邮件是不是垃圾邮件,也不需要为了一个简单的分类任务支付旗舰模型的API费用。

查看原文

以上仅为核心速览。完整版包含:JEV三种原语的完整API调用示例、RLCD与RLHF/RLVR的深度对比、fast-browser-use/Nimble/JEV-CPU三条上手路径的完整配置代码、八条开源路线的分层拆解(L0到L3),以及Agent"快慢分工"架构的完整工程判断。

本文首发于微信公众号「阿Q的AI笔记」,点击下方链接阅读全文:

大模型必知必会:JEV决策模型完全指南


关注公众号

如果你想获取完整的API调用代码、开源部署指南和Agent架构前沿分析,欢迎关注公众号「阿Q的AI笔记」。

相关推荐
johnsong1 小时前
5美元攻破11个系统
人工智能
Shockang1 小时前
银行营销看板练习:四项指标、完整代码与交付边界
人工智能
我喜欢就喜欢1 小时前
DeepSeek Harness 开源贡献手记:从零到合入主线的完整历程
开发语言·人工智能·copilot
小蜗子1 小时前
Historically Relevant Event Structuring for Temporal Knowledge Graph Reasoning
人工智能·知识图谱
RD_daoyi1 小时前
外贸独立站从0到1:平台选择 + 建站流程 + 新手避坑
大数据·服务器·网络·人工智能·搜索引擎·职场和发展
小码哥哥1 小时前
企业 AI 知识库落地路径:从“文件堆“到“问不倒的助手“
人工智能
csuzhucong1 小时前
基于合情推理的基因推测
人工智能
2603_954708311 小时前
微能网协调控制箱突破传统微电网架构瓶颈
大数据·数据库·人工智能·架构·能源