技术栈
agent评测
可乐ea
16 天前
数据库
·
ui
·
oracle
·
mcp工具
·
agent评测
·
终态断言
·
智能体可靠性
Agent 评测换判据：用终态数据库状态判定任务是否完成
原文：Hugging Face Blog（Microsoft 联合发布）- 《The Agent Said It Was Done. The Database Disagreed.》（https://huggingface.co/blog/microsoft/thinkingbox）
可乐ea
20 天前
大数据
·
人工智能
·
算法
·
大模型
·
工具调用
·
ai智能体
·
agent评测
AI Agent 工具调用准确性评测：选择错误与参数错误分开测
原文：OpenRouter Blog - 《How to Test Tool-Calling Accuracy in AI Agents》（https://openrouter.ai/blog/tutorials/how-to-test-tool-calling-accuracy-in-ai-agents/）
花生了什么事o
2 个月前
agent评测
Agent 评测：如何判断一个 Agent 是否可靠
Agent 的输出是非确定的。同一个问题问两遍，可能给出不同的回答、走不同的执行路径、调用不同的工具。手动试几个 case 觉得还行，上线后才发现大量问题。靠肉眼判断"看起来没问题"覆盖不了真实场景的复杂度，你需要一套系统性的评测方法。
萧青山
3 个月前
agent评测
·
验证循环
·
grader评分器
·
llm评判
·
rubric模板
Agent在无效重试？Verification Loop评分器设计：5套Rubric+3种Judge（2026版·附代码）
金句：Grader = Verification Loop 的灵魂。Generator 负责写，Grader 负责判——裁判不行，写再多也是白烧 token。
玉面大蛟龙
6 个月前
ai
·
agent
·
agent评测
·
harness ai
可复用的 Agent 评测体系：方法论与实践
Agent 评测体系是一套标准化的质量度量方法论——它定义了“好的 Agent 长什么样”、“如何衡量好不好”、“如何持续变得更好”。
我是有底线的