技术栈
llm-as-a-judge
frankzch
17 天前
llm-as-a-judge
·
智能体验证
·
自一致性
VeriHarness 拆解：多数投票为何会掩盖错误
智能体跑完一个几十步的长任务，交出一份表格、一份报告或改好的文件，谁来判定它对不对？短问答可以靠标准答案或单元测试，但长任务的交付物往往没法写成断言：一个财务比率可能取错了年份，一份报告可能引用了已失效的来源，而且这些错误通常藏在"看起来很正常"的成品里。
张彦峰ZYF
1 个月前
人工智能
·
llm
·
ai agent
·
evaluate
·
llm-as-a-judge
·
prefactor
·
金融agent
Prefactor 从“看见 Agent”到“拦住 Agent”：实时评估如何重构 AI Agent 的生产可靠性
目录一、Prefactor 为什么值得讨论：Agent 的可靠性问题已经从“输出质量”升级为“执行治理”
张彦峰ZYF
2 个月前
人工智能
·
agent-as-judge
·
llm-as-a-judge
·
agentevaluation
·
deepswe
·
verifier
·
agentic search
从“打分模型”到“审计智能体”：Agent-as-a-Judge如何重构复杂AI系统的评测范式
目录一、为什么复杂智能体正在让传统评测失效（一）评测对象已从“答案”变成“过程”1、稀疏终局指标无法解释失败
我是有底线的