假设你问 Claude 或 ChatGPT:"这笔交易看起来像诈骗吗?"
它可能会回答:"结合这位客户过去的交易记录来看,这笔交易似乎并不存在明显的欺诈迹象。"
但很多程序真正需要的,其实只是:"否。"
你当然可以要求模型"只回答一个词"。这样一来,长句子确实没了,生成的 token 也少了。但模型底层并不会因此变成一个专门做"是/否判断"的简单程序。
因为 Claude、ChatGPT 这类大语言模型(LLM)的基本工作方式,就是不断预测"下一个 token 是什么"。
无论最终要写一大段话,还是只回答一个"Yes",第一个 token 都需要经过完整的模型计算流程。短答案能够减少后续的生成次数,却不会把模型第一次生成 token 的过程变成一种更简单的计算。
2026 年 9 月 15 日,一家叫 TypeSafe AI 的创业公司发布了一个名为 Jev 的模型,大名鼎鼎的RHLF模型就是这家公司创始人负责的。
TypeSafe 给它的定位很不一样:如果程序真正需要的是"是/否""三选一""打几分"这样的判断,为什么还要让 AI 先写成一句话,再从句子里把答案提取出来?
Jev 的思路,就是跳过"写句子"这一步,直接返回结构化的判断结果。
那么问题来了:传统大语言模型为了输出一个词,到底做了什么?

大模型是怎么生成一个词的?
可以把 Claude、GPT 这样的模型想象成一个由很多层组成的巨大计算网络,其中包含海量参数。
用户输入的文字首先会被拆成 token。token 可以是一个完整单词,也可能只是单词的一部分、标点符号等。
这些 token 会被转换成数字,然后经过模型中的多层计算。
模型最后要解决的问题,本质上是:"接下来最可能出现哪个 token?"
假设模型的词表中大约有 10 万种 token。模型每生成一步,都会给这些候选 token 计算一个分数。
比如它准备生成一句:"This purchase seems fraudulent."
它不会一开始就把整句话规划好,然后一次性输出。
而是类似这样:
先预测:"This"。
然后基于原始输入加上"This",预测:"purchase"。
再根据前面的所有内容继续预测:"seems"。
然后继续往下,直到生成结束标记。
所以,大语言模型是在一个 token、一个 token 地"写"答案。
这里有个技术细节需要说明:现代 Transformer 在实际推理时通常会使用 KV cache,因此后面的生成步骤并不是真的从头重新计算此前所有 token。原文说"第二次又重新处理第一遍的一切",作为直观解释可以理解,但严格来说并不准确。
不过核心结论不变:输出的 token 越多,需要进行的生成步骤通常也越多。
那只回答"Yes",是不是便宜很多?
会便宜,但没有想象中那么简单。
假设你强制要求模型只能回答 Yes 或 No。
它可能经历两个生成步骤:
- 第一步:根据输入计算下一个 token,在整个词表中"Yes"胜出。
- 第二步:根据当前上下文继续计算,生成结束标记,表示回答完成。
所以它当然比生成七八个 token 的句子便宜。
但关键在于:为了产生第一个"Yes",大语言模型仍然运行了完整的模型计算流程。它并没有因为你只需要"是/否",就自动切换成一个特别轻量的二分类器。
这也是 Jev 所针对的问题。
"判断这笔交易是否欺诈"和"用自然语言把判断写出来",其实是两件不同的事。
传统 LLM 天生是用来生成语言的,因此即使你只需要一个简单判断,它仍然要通过"预测下一个 token"的方式表达结果。
但很多软件系统根本不需要一句话。
它们可能只需要:
是否欺诈:是 / 否
工单分类:技术 / 财务 / 销售
风险评分:1~10
这些东西与其说是"写作",不如说是在填表。

Jev:不写句子,直接做判断
TypeSafe 把 Jev 所代表的模型称为"System One Model(系统一模型)"。
这个名字借用了丹尼尔·卡尼曼在《思考,快与慢》中的概念:"系统一"代表快速、直觉式判断,"系统二"代表相对缓慢、需要更多思考的过程。
按照 TypeSafe 的说法,传统 LLM 更接近后者,而 Jev 希望专门服务于前者。
需要注意的是,Jev 并不是套在 GPT 或 Claude 外面的一个工具,也不是先让 GPT 写答案,然后再把答案压缩成"是/否"。
按照 TypeSafe 的介绍,它本身就是一个独立训练的模型,输出层直接针对特定类型的结果,而不是从庞大的自然语言词表里逐 token 生成句子。
举一个实际场景。
一家电商网站收到订单后,后台可能需要判断:"这笔订单是否存在欺诈风险?"
用户根本不需要和 Jev 对话。
实际过程可能是:用户点击购买 → 商店后台把订单信息发送给 Jev → Jev 返回判断 → 后台决定正常通过、暂时审核还是拦截。
对用户来说,这个 AI 甚至是完全看不见的。
Jev 的输入和普通 Prompt 有什么区别?
调用 ChatGPT 之类的模型时,我们经常把"数据"和"要求"全部写进一段 prompt,例如:
"下面是一条客服工单,请判断应该交给哪个部门处理,只回答 technical、billing 或 sales......"
Jev 则试图把两件事明确拆开:
"state"负责提供原始数据。
"questions"负责定义要做什么判断。
例如:
json
{
"state": "救命!我的提现已经连续失败 3 天了。",
"model": "jev-latest",
"questions": {
"department": {
"type": "choice",
"instructions": "哪个团队应该处理这个问题?",
"criteria": {
"billing": "支付、账单、退款",
"technical": "Bug、故障、系统集成",
"sales": "价格、升级、新账户"
}
}
}
}
Jev 返回的不是一段自然语言,而是类似:
json
{
"answers": {
"department": {
"type": "choice",
"choice": "technical",
"probabilities": {
"billing": 0.08,
"technical": 0.85,
"sales": 0.07
},
"confidence": 0.82
}
}
}
也就是说,程序直接得到了:
分类结果:technical
各选项概率:technical 85%、billing 8%、sales 7%
置信度:0.82
不需要再从一句:"根据用户描述,我认为这个问题可能更适合交给技术支持部门......"
里面提取"technical"。
TypeSafe 目前定义了三种基本输出:
- Boolean:是 / 否
- Choice:从给定选项中选择一个
- Score:给出一个分数
这也是 Jev 与聊天机器人的核心区别之一:
它不是在"回答你一句话",而是在"填写一个预先规定好的结构"。
对开发者来说,这有什么好处?
最大的好处不是"少说废话",而是程序更容易直接使用结果。
使用普通 LLM 时,开发者过去经常会遇到这种情况:"请严格返回 JSON,不要解释。"
结果模型返回:"当然可以!以下是您需要的 JSON:......"
对人来说没有问题,对程序来说却可能很麻烦。
于是开发者不得不增加各种解析、校验、重试机制,防止模型突然换一种表达方式。
Jev 的设计思路是:从一开始就不让模型生成自由文本。
程序预先声明:"我要的是 Boolean""我要的是三选一""我要的是一个评分"。
模型直接填入对应的数据结构。
因此,从工程角度来说,这更像"让 AI 填表",而不是"让 AI写一段话,然后程序再猜这段话是什么意思"。
另外,按照 TypeSafe 的设计,同一份 state 可以同时回答多个问题。
例如针对一条客服工单,一次判断:
属于哪个部门?
优先级是多少?
是否可以自动关闭?
而不一定要分别请求模型三次。
Jev 的速度和成本真的有那么夸张吗?
这里需要谨慎。
TypeSafe 宣称,在 Jev 所针对的分类任务中,它最高可以比传统语言模型:
快 193.6 倍,
便宜 444.6 倍。
但这些数字来自 TypeSafe 自己公布的 benchmark,而不是独立第三方的大规模验证。
所以目前更合适的理解是:"这是厂商公布的测试结果。"
而不是:"已经被行业证明 Jev 就是快 193.6 倍。"
在独立测试能够复现之前,这些数字只能作为参考。
"保证输出正确"也是两回事
Jev 有一个很重要的优势,但也很容易被误解。
它能够保证的主要是:"输出格式符合预先定义的结构。"
它不能保证:"这个判断一定正确。"
例如你定义:
ini
department = billing | technical | sales
那么模型不会突然回答:"我觉得你应该联系客户成功部门。"
因为"客户成功"根本不在允许的选项里。
这是"类型安全"。
但它仍然有可能在应该选择 billing 的时候选择 technical。
所以:格式正确 ≠ 判断正确。
同样,Jev 返回 confidence(置信度)也不能证明结果真的有那么可靠。
如果模型说:"我有 82% 的把握。"
这个 82% 仍然是模型自己估计的。要知道它是不是准确反映真实正确率,还需要外部测试和概率校准验证。
Jev 目前仍然是一个早期产品
截至原文所述时间,Jev 仍处于 Early Access(早期访问)阶段,需要加入等待名单,并没有经过特别广泛的大规模实际部署验证。
公开信息显示,其输入价格大约为每百万 token 4 美分,输出不另外收费。但这些价格信息和实际规模化使用效果,目前仍缺乏足够的第三方数据支持。
所以现阶段最值得关注的,不一定是"193 倍快"或者"444 倍便宜"这些宣传数字。
真正有意思的是它背后的产品思路。
"做出判断"和"把判断写成一句话",本来就是两件事
传统大语言模型是为了生成语言而设计的。
因此无论答案是:"是。"
还是:"根据现有交易历史综合判断,我们暂时没有发现明显的欺诈风险,因此建议允许这笔交易继续进行。"
本质上都通过同一种机制产生:一个 token 接着一个 token 地生成。
Jev 代表的是另一种思路:如果应用程序最终想要的只是一个判断,那为什么一定要先生成一句自然语言?
比如:
是否欺诈:false
处理部门:technical
风险评分:8.2
这些结果本身已经足够让软件继续执行后续操作。
当然,这并不意味着 Jev 一定比 GPT 或 Claude "更好"。
如果你需要的是:
"为什么这笔交易可疑?"
"帮我写一封解释邮件。"
"总结这份报告。"
"分析支持和反对这个决定的理由。"
那么自然语言模型仍然更适合,因为这时"生成语言"本身就是任务的一部分。
而 Jev 这类模型针对的,是另一类问题:程序不需要解释,只需要一个明确、固定格式、能够直接执行的判断结果。
因此,这件事真正值得关注的地方,不只是"能不能省几个 token",而是 AI 系统正在把两个过去经常混在一起的任务重新拆开:
一个是"得出答案"。
另一个是"把答案写成话"。
过去,因为 LLM 是最现成的通用 AI 工具,我们习惯让它同时做这两件事。
而 Jev 想证明的是:有些时候,软件只需要第一件事,根本不需要第二件事。