AI 现状:哪怕只回答一个“是”或“否”,大模型背后的“算力”也一点没省

假设你问 Claude 或 ChatGPT:"这笔交易看起来像诈骗吗?"

它可能会回答:"结合这位客户过去的交易记录来看,这笔交易似乎并不存在明显的欺诈迹象。"

但很多程序真正需要的,其实只是:"否。"

你当然可以要求模型"只回答一个词"。这样一来,长句子确实没了,生成的 token 也少了。但模型底层并不会因此变成一个专门做"是/否判断"的简单程序。

因为 Claude、ChatGPT 这类大语言模型(LLM)的基本工作方式,就是不断预测"下一个 token 是什么"。

无论最终要写一大段话,还是只回答一个"Yes",第一个 token 都需要经过完整的模型计算流程。短答案能够减少后续的生成次数,却不会把模型第一次生成 token 的过程变成一种更简单的计算。

2026 年 9 月 15 日,一家叫 TypeSafe AI 的创业公司发布了一个名为 Jev 的模型,大名鼎鼎的RHLF模型就是这家公司创始人负责的。

TypeSafe 给它的定位很不一样:如果程序真正需要的是"是/否""三选一""打几分"这样的判断,为什么还要让 AI 先写成一句话,再从句子里把答案提取出来?

Jev 的思路,就是跳过"写句子"这一步,直接返回结构化的判断结果。

那么问题来了:传统大语言模型为了输出一个词,到底做了什么?

大模型是怎么生成一个词的?

可以把 Claude、GPT 这样的模型想象成一个由很多层组成的巨大计算网络,其中包含海量参数。

用户输入的文字首先会被拆成 token。token 可以是一个完整单词,也可能只是单词的一部分、标点符号等。

这些 token 会被转换成数字,然后经过模型中的多层计算。

模型最后要解决的问题,本质上是:"接下来最可能出现哪个 token?"

假设模型的词表中大约有 10 万种 token。模型每生成一步,都会给这些候选 token 计算一个分数。

比如它准备生成一句:"This purchase seems fraudulent."

它不会一开始就把整句话规划好,然后一次性输出。

而是类似这样:

先预测:"This"。

然后基于原始输入加上"This",预测:"purchase"。

再根据前面的所有内容继续预测:"seems"。

然后继续往下,直到生成结束标记。

所以,大语言模型是在一个 token、一个 token 地"写"答案。

这里有个技术细节需要说明:现代 Transformer 在实际推理时通常会使用 KV cache,因此后面的生成步骤并不是真的从头重新计算此前所有 token。原文说"第二次又重新处理第一遍的一切",作为直观解释可以理解,但严格来说并不准确。

不过核心结论不变:输出的 token 越多,需要进行的生成步骤通常也越多。

那只回答"Yes",是不是便宜很多?

会便宜,但没有想象中那么简单。

假设你强制要求模型只能回答 Yes 或 No。

它可能经历两个生成步骤:

  • 第一步:根据输入计算下一个 token,在整个词表中"Yes"胜出。
  • 第二步:根据当前上下文继续计算,生成结束标记,表示回答完成。

所以它当然比生成七八个 token 的句子便宜。

但关键在于:为了产生第一个"Yes",大语言模型仍然运行了完整的模型计算流程。它并没有因为你只需要"是/否",就自动切换成一个特别轻量的二分类器。

这也是 Jev 所针对的问题。

"判断这笔交易是否欺诈"和"用自然语言把判断写出来",其实是两件不同的事。

传统 LLM 天生是用来生成语言的,因此即使你只需要一个简单判断,它仍然要通过"预测下一个 token"的方式表达结果。

但很多软件系统根本不需要一句话。

它们可能只需要:

是否欺诈:是 / 否

工单分类:技术 / 财务 / 销售

风险评分:1~10

这些东西与其说是"写作",不如说是在填表。

Jev:不写句子,直接做判断

TypeSafe 把 Jev 所代表的模型称为"System One Model(系统一模型)"。

这个名字借用了丹尼尔·卡尼曼在《思考,快与慢》中的概念:"系统一"代表快速、直觉式判断,"系统二"代表相对缓慢、需要更多思考的过程。

按照 TypeSafe 的说法,传统 LLM 更接近后者,而 Jev 希望专门服务于前者。

需要注意的是,Jev 并不是套在 GPT 或 Claude 外面的一个工具,也不是先让 GPT 写答案,然后再把答案压缩成"是/否"。

按照 TypeSafe 的介绍,它本身就是一个独立训练的模型,输出层直接针对特定类型的结果,而不是从庞大的自然语言词表里逐 token 生成句子。

举一个实际场景。

一家电商网站收到订单后,后台可能需要判断:"这笔订单是否存在欺诈风险?"

用户根本不需要和 Jev 对话。

实际过程可能是:用户点击购买 → 商店后台把订单信息发送给 Jev → Jev 返回判断 → 后台决定正常通过、暂时审核还是拦截。

对用户来说,这个 AI 甚至是完全看不见的。

Jev 的输入和普通 Prompt 有什么区别?

调用 ChatGPT 之类的模型时,我们经常把"数据"和"要求"全部写进一段 prompt,例如:

"下面是一条客服工单,请判断应该交给哪个部门处理,只回答 technical、billing 或 sales......"

Jev 则试图把两件事明确拆开:

"state"负责提供原始数据。

"questions"负责定义要做什么判断。

例如:

json 复制代码
{
  "state": "救命!我的提现已经连续失败 3 天了。",
  "model": "jev-latest",
  "questions": {
    "department": {
      "type": "choice",
      "instructions": "哪个团队应该处理这个问题?",
      "criteria": {
        "billing": "支付、账单、退款",
        "technical": "Bug、故障、系统集成",
        "sales": "价格、升级、新账户"
      }
    }
  }
}

Jev 返回的不是一段自然语言,而是类似:

json 复制代码
{
  "answers": {
    "department": {
      "type": "choice",
      "choice": "technical",
      "probabilities": {
        "billing": 0.08,
        "technical": 0.85,
        "sales": 0.07
      },
      "confidence": 0.82
    }
  }
}

也就是说,程序直接得到了:

分类结果:technical

各选项概率:technical 85%、billing 8%、sales 7%

置信度:0.82

不需要再从一句:"根据用户描述,我认为这个问题可能更适合交给技术支持部门......"

里面提取"technical"。

TypeSafe 目前定义了三种基本输出:

  • Boolean:是 / 否
  • Choice:从给定选项中选择一个
  • Score:给出一个分数

这也是 Jev 与聊天机器人的核心区别之一:

它不是在"回答你一句话",而是在"填写一个预先规定好的结构"。

对开发者来说,这有什么好处?

最大的好处不是"少说废话",而是程序更容易直接使用结果。

使用普通 LLM 时,开发者过去经常会遇到这种情况:"请严格返回 JSON,不要解释。"

结果模型返回:"当然可以!以下是您需要的 JSON:......"

对人来说没有问题,对程序来说却可能很麻烦。

于是开发者不得不增加各种解析、校验、重试机制,防止模型突然换一种表达方式。

Jev 的设计思路是:从一开始就不让模型生成自由文本。

程序预先声明:"我要的是 Boolean""我要的是三选一""我要的是一个评分"。

模型直接填入对应的数据结构。

因此,从工程角度来说,这更像"让 AI 填表",而不是"让 AI写一段话,然后程序再猜这段话是什么意思"。

另外,按照 TypeSafe 的设计,同一份 state 可以同时回答多个问题。

例如针对一条客服工单,一次判断:

属于哪个部门?

优先级是多少?

是否可以自动关闭?

而不一定要分别请求模型三次。

Jev 的速度和成本真的有那么夸张吗?

这里需要谨慎。

TypeSafe 宣称,在 Jev 所针对的分类任务中,它最高可以比传统语言模型:

快 193.6 倍,

便宜 444.6 倍。

但这些数字来自 TypeSafe 自己公布的 benchmark,而不是独立第三方的大规模验证。

所以目前更合适的理解是:"这是厂商公布的测试结果。"

而不是:"已经被行业证明 Jev 就是快 193.6 倍。"

在独立测试能够复现之前,这些数字只能作为参考。

"保证输出正确"也是两回事

Jev 有一个很重要的优势,但也很容易被误解。

它能够保证的主要是:"输出格式符合预先定义的结构。"

它不能保证:"这个判断一定正确。"

例如你定义:

ini 复制代码
department = billing | technical | sales

那么模型不会突然回答:"我觉得你应该联系客户成功部门。"

因为"客户成功"根本不在允许的选项里。

这是"类型安全"。

但它仍然有可能在应该选择 billing 的时候选择 technical。

所以:格式正确 ≠ 判断正确。

同样,Jev 返回 confidence(置信度)也不能证明结果真的有那么可靠。

如果模型说:"我有 82% 的把握。"

这个 82% 仍然是模型自己估计的。要知道它是不是准确反映真实正确率,还需要外部测试和概率校准验证。

Jev 目前仍然是一个早期产品

截至原文所述时间,Jev 仍处于 Early Access(早期访问)阶段,需要加入等待名单,并没有经过特别广泛的大规模实际部署验证。

公开信息显示,其输入价格大约为每百万 token 4 美分,输出不另外收费。但这些价格信息和实际规模化使用效果,目前仍缺乏足够的第三方数据支持。

所以现阶段最值得关注的,不一定是"193 倍快"或者"444 倍便宜"这些宣传数字。

真正有意思的是它背后的产品思路。

"做出判断"和"把判断写成一句话",本来就是两件事

传统大语言模型是为了生成语言而设计的。

因此无论答案是:"是。"

还是:"根据现有交易历史综合判断,我们暂时没有发现明显的欺诈风险,因此建议允许这笔交易继续进行。"

本质上都通过同一种机制产生:一个 token 接着一个 token 地生成。

Jev 代表的是另一种思路:如果应用程序最终想要的只是一个判断,那为什么一定要先生成一句自然语言?

比如:

是否欺诈:false

处理部门:technical

风险评分:8.2

这些结果本身已经足够让软件继续执行后续操作。

当然,这并不意味着 Jev 一定比 GPT 或 Claude "更好"。

如果你需要的是:

"为什么这笔交易可疑?"

"帮我写一封解释邮件。"

"总结这份报告。"

"分析支持和反对这个决定的理由。"

那么自然语言模型仍然更适合,因为这时"生成语言"本身就是任务的一部分。

而 Jev 这类模型针对的,是另一类问题:程序不需要解释,只需要一个明确、固定格式、能够直接执行的判断结果。

因此,这件事真正值得关注的地方,不只是"能不能省几个 token",而是 AI 系统正在把两个过去经常混在一起的任务重新拆开:

一个是"得出答案"。

另一个是"把答案写成话"。

过去,因为 LLM 是最现成的通用 AI 工具,我们习惯让它同时做这两件事。

而 Jev 想证明的是:有些时候,软件只需要第一件事,根本不需要第二件事。

相关推荐
是翎1 小时前
深度长文|2026产品经理AI实践手册
人工智能·深度学习·学习·自然语言处理·数据挖掘
AlbertZein1 小时前
不只看跑分,Step 5 Preview 两个真实编程任务实测
人工智能·ai编程
kyriewen1 小时前
我扒了 10,221 条 JD:腾讯技术岗 75% 在要 AI
前端·人工智能·ai编程
AIGC小尼1 小时前
本地AI漫剧部署|低配8G显存实战部署MiniMax-H3|4步极速采样+低显存优化完整方案(可角色替换/视频魔改)
人工智能·stable diffusion·comfyui·ai漫剧
宿州派大星2 小时前
[NLP实战] 基于PyTorch实现N-gram词嵌入模型:输入4个词预测第5个词
人工智能·pytorch·深度学习·nlp
qq_199886872 小时前
第8板块·第2节:统一内存的高级特性与性能调优
c++·人工智能·gpu算力·cuda
ting94520002 小时前
深度拆解Enter Pro AI原生开发平台:从底层架构到企业级落地技术实践
人工智能·架构·ai-native
lisw052 小时前
人工智能辅助科学的快与慢!
人工智能
9呀2 小时前
vscode如何打开多个codex标签页
人工智能