谷歌+斯坦福+CMU 等五家 203 页综述,我做了个HTML把主动式AI的边界跑给你看

先说一个可能有点反直觉的观点:

现在绝大多数所谓AI 智能体,本质上还是个高级一点的输入框。

你问它答,你不问它就待着。这不叫主动,这叫响应式。

上周读完一篇 203 页的综述,我才算把这件事想清楚。论文叫《Proactive AI for Superintelligent Agents》,是谷歌、UIUC、斯坦福、加州大学伯克利分校、卡内基梅隆大学五家机构联合发布的综述。

这篇我聊 5 个提醒,每个都配一个我自己的判断。文末有个可以直接玩的小工具。

另外我做了个 HTML 可视化页面,把 203 页的骨架摊开,配合着看更直观。

图一 · 五个提醒总览

提醒一:收益在少盯,不在多做

论文说:主动式 AI 的价值,在于它是否在合适的时候提供了值得接受的帮助,并且能够减轻人类持续关注的工作负担。

我读完这句的第一反应是:大部分产品经理搞错了 KPI。

他们盯着日活任务完成数功能使用率,但用户真正想要的是我不用一直盯着它了。

这两件事经常被混为一谈。一个一天发 40 条通知的助手,任务完成数肯定比一天发 3 条的高,但用户会卸载前者。

提醒二:误判成本,两边根本不对等

该动没动,损失是机会成本;不该动却动了,损失可能是事故。

这两者根本不对称。但大多数系统的设计,默认它们对称。

论文举了个例子:陌生账户访问服务器,可能是正常维护,也可能是凭据滥用。补查记录或问负责人,判断可能就变了。但立刻封禁,正常业务可能受影响。

我的判断是:这是所有主动式系统设计的第一个分水岭。

承认不对称,你就会加一层介入决策;不承认,你就会做出一个检测到就执行的莽夫。

论文里有句话我抄下来了:涉及付款、隐私或难以撤回的操作时,单靠模型在文字里表示"已经考虑风险",无法提供足够的控制。

提醒三:能撤回,比能做事更重要

论文原话:确认、编辑、撤销和失败恢复,应当与具体操作一起设计。

注意一起设计这四个字。现实里大多数系统是反的------先把功能做出来,再想要不要加个撤销。结果就是有些操作天然不可撤回。

前端同学应该有共鸣:一个删除按钮,是先做删除功能再想确认弹窗,还是一开始就把可撤销当成需求的一部分?这两种做法出来的产品,体验差很远。

我的判断是:可撤回性应该是一个一等公民,而不是事后补丁。

提醒四:信任要和可靠性匹配

论文提到:助手可以提高建议接受率,但同时也增加了依赖。推荐系统可以提高点击率,却会收窄用户接触的信息范围。

然后它给了一句很克制的话:信任应当与系统的可靠性相称。

反过来读更有意思:可靠性只有 70%,却表现出 95% 的自信,就是在透支信任。

我的判断是:过度自信是 AI 产品最常见的原罪。

我们总想让 AI 显得很懂,但一旦错一次,用户就再也不信了。就像那个喊狼来了的孩子。

提醒五:对齐的难点,从听话变成判断该不该

论文把四个概念明确区分开了:智能水平、对齐、主动性、自主程度。

这四个是正交的。一个对齐极好的系统可能完全没有主动性;一个主动性很强的系统可能对齐一塌糊涂。

我的判断是:混着谈,是很多讨论跑偏的根源。

比如有人说AI 太危险了,得管管,他说的可能是对齐;有人说AI 太笨了,啥也不会主动做,他说的可能是主动性。这是两个完全不同的问题,解决方案也完全不同。

论文还提了个现实风险:网页、邮件或文件中的恶意内容,可能诱导智能体提出未经授权的新任务。这个攻击面很值得警惕。

图二 · 主动性光谱与真实成熟度

动手:一个 30 行的主动性档位小工具

光说不练没意思。我写了个小东西,可以帮你判断一个智能体到底主动到哪一档。

逻辑很简单:回答 5 个问题,输出档位和风险提示。

xml 复制代码
<!DOCTYPE html>
<html lang="zh-CN">
<head>
<meta charset="UTF-8">
<title>主动性档位自测</title>
<style>
  body{font-family:-apple-system,'PingFang SC',sans-serif;background:#0d1117;color:#c9d1d9;padding:32px;max-width:680px;margin:0 auto;}
  h1{font-size:22px;color:#fff;margin-bottom:8px;}
  .sub{color:#8b949e;font-size:14px;margin-bottom:28px;}
  .q{background:#161b22;border:1px solid #30363d;border-radius:10px;padding:18px;margin-bottom:14px;}
  .q p{margin:0 0 12px;font-size:15px;color:#e6edf3;}
  .q label{display:block;padding:8px 10px;border-radius:6px;cursor:pointer;font-size:14px;color:#8b949e;}
  .q label:hover{background:#1f2937;color:#e6edf3;}
  .q input{margin-right:8px;}
  button{background:#1e80ff;color:#fff;border:none;padding:12px 28px;border-radius:8px;font-size:15px;cursor:pointer;margin-top:8px;}
  button:hover{background:#1668d9;}
  #result{margin-top:24px;padding:20px;border-radius:10px;background:#161b22;border:1px solid #30363d;display:none;}
  #result h2{font-size:18px;margin:0 0 10px;color:#fff;}
  .lv{font-size:28px;font-weight:700;color:#1e80ff;margin:6px 0;}
  .tip{font-size:14px;color:#8b949e;line-height:1.8;}
</style>
</head>
<body>
<h1>你的智能体,主动到哪一档?</h1>
<p class="sub">基于《Proactive AI for Superintelligent Agents》综述的五档模型</p>
<div id="quiz"></div>
<button onclick="calc()">看结果</button>
<div id="result"></div>
<script>
const QS=[
 {q:"1. 它会在你没开口时做事吗?",o:["从不,问一句答一句","会,但只在设定好的规则里","会,能发现已经发生的事","会,能推测还没发生的事"]},
 {q:"2. 它做决定前会评估风险吗?",o:["不会,检测到就执行","会,但只看单一指标","会,会综合可信度和收益","会,还会考虑能不能撤回"]},
 {q:"3. 它会不会主动问你?",o:["从不","偶尔,信息不够时","会,但问得有点多","会,只在真正必要时问"]},
 {q:"4. 它记不记得上次的反馈?",o:["不记","记,但会过时","记,能区分单次和长期","记,还会校准自己的自信度"]},
 {q:"5. 出错了能撤回吗?",o:["不能","部分能","大部分能","能,且失败有恢复路径"]}
];
const box=document.getElementById('quiz');
QS.forEach((item,i)=>{
  const d=document.createElement('div');d.className='q';
  let h='<p>'+item.q+'</p>';
  item.o.forEach((opt,j)=>{h+='<label><input type="radio" name="q'+i+'" value="'+j+'">'+opt+'</label>';});
  d.innerHTML=h;box.appendChild(d);
});
function calc(){
  let s=0,c=0;
  for(let i=0;i<QS.length;i++){
    const r=document.querySelector('input[name="q'+i+'"]:checked');
    if(r){s+=parseInt(r.value);c++;}
  }
  if(c<QS.length){alert('还有题没答完');return;}
  const avg=s/QS.length;
  let lv,tip;
  if(avg<0.75){lv='第 1-2 档 · 响应式 / 规则触发';tip='它只是个勤快的执行器。想往上一档,先加上"发现已发生的事"的能力------比如异常检测和归因,而不是只做定时提醒。';}
  else if(avg<1.75){lv='第 2-3 档 · 规则触发 / 发现异常';tip='已经能察觉问题了,但还不会判断"该不该动"。下一步是加一层介入决策:可信度、收益、时机、可撤回性,四项全过才动手。';}
  else if(avg<2.5){lv='第 3-4 档 · 发现异常 / 提前预判';tip='已经不错了。重点补两块:一是记忆的时效管理(别沿用过期偏好),二是把默认动作从"执行"降成"出草稿"。';}
  else{lv='第 4 档 · 提前预判(接近上限)';tip='综述里第 5 档(修订高层目标)目前还没有成熟系统。你现在的位置已经很少见了,重点转向长期评测和权限分级。';}
  const r=document.getElementById('result');
  r.style.display='block';
  r.innerHTML='<h2>你的档位</h2><div class="lv">'+lv+'</div><p class="tip">'+tip+'</p>';
}
</script>
</body>
</html>

直接存成 .html 打开就能用。逻辑很糙,但足够帮你定位。

图三 · 三层评测与任务发现

一个补充:评测这块,行业普遍缺一块

现在测智能体,基本都是:给目标 → 看完成度。但主动性测不了,因为主动性的前提就是需求还没明确。

综述的建议是:评测要保留尚未明确的需求,让智能体自己判断哪些事值得处理。然后记录三件事------任务发现的准确性、遗漏的机会、多余的介入。

说白了就是加两列:漏掉了什么 、多管了什么闲事。

这两列一加,很多看起来很聪明的系统立刻现原形。

我平时跑这类多步骤的活儿,会用 AiPy 先把流程串一遍------主要是因为它会把每一步的执行记录留下来,跑完能直接看到哪一步判断偏了。这比事后猜要省事,也正好对应论文说的"可靠的工作记录可以成为扩大授权的依据"。

写在最后

综述用了一个词概括所有问题:calibrated proactiveness,校准过的主动性。

根据证据、时机、风险、偏好和权限,动态调整主动行为。

所以我的结论是:主动式 AI 的边界,不在技术能力上,在判断该不该这件事上。

能做的事越来越多,但知道什么时候不该做,才是真正稀缺的能力。

相关推荐
吴凡wudianmei1 小时前
从 0 搭一个 AI Agent(四):SSE 跑通之后,三处“契约错配”与它们的修复边界
前端·后端·aigc
不可能片场1 小时前
Electron 发布 别拿 load 事件当页面就绪
前端·electron
文谦南宁AI普工1 小时前
主动性 Agent 的第一道工程题:Fast/Slow Path 两级过滤,附 80 行可跑模拟器
agent·ai编程·产品
paopaokaka_luck1 小时前
灾害应急物资管理系统(AI应急助手、Echarts可视化数据看板、捐赠入库联动、 物资全流程管理、库存变动追溯、灾情资讯与互动反馈、物资发放公示)
java·前端·javascript·spring boot·mysql·tomcat·echarts
米小虾1 小时前
Agent 省钱工程:七成的钱不是模型花掉的
人工智能·agent
kyriewen2 小时前
我验了 7 种 sticky 失效说法:3 种根本不成立
前端·javascript·程序员
程序边界2 小时前
一台数据集成软件的拆解笔记(下):一致性、容错、跑批与迁移,KFS 真正难的地方在这
java·前端·笔记
健康活着就好2 小时前
# 前端图片优化实战,首屏加载提速60%
前端
不一样的少年_2 小时前
不花一分额外 API 钱,用现成的 Claude Code / Codex / Cursor 搭建 AI 个人知识库
前端·后端·ai编程