适用对象 ：AI 工程师、Agent 产品经理、Skill 开发者、平台运营方
核心价值 ：在 2026 年 Skill 成为独立一等公民的背景下，提供从测评维度、标准流程到工具选型的全链路实战方案。
一、为什么需要独立的 Skill 测评？
随着 Agent 生态爆发，行业逐渐意识到：Agent 的失败，80% 源于 Skill 的不可靠。 2026 年，ClawHavoc 事件 （1184 个恶意 Skill，24.7 万次安装）和 Snyk ToxicSkills 报告（36.82% 的 Skill 存在安全风险）进一步敲响警钟：
Skill 不再是 Agent 的附属品，而是必须拥有独立测评体系的"数字零部件"。
二、Skill 测评的五大核心维度
1. 功能正确性（Correctness）
确保"把事做对"。
- Executability Rate：代码/SQL/API 调用能否成功执行。
- Result Accuracy：输出结果与标准答案的匹配度。
- Schema Compliance：JSON/YAML 输出是否严格符合预定义 Schema。
- Pass@k：运行 k 次中至少成功 1 次的概率。
2. 鲁棒性（Robustness）
确保"扛得住事"。
- Error Handling：面对异常输入的优雅失败能力。
- Fallback Coverage：重试、降级或人工介入提示。
- Boundary Pass Rate：边界 Case（空值、超长、特殊字符）通过率。
3. 性能与成本（Efficiency）
确保"划算地做事"。
- Latency (P50/P95/P99)：响应延迟分布。
- Token Cost / Call：单次调用的 Token 消耗。
- Cost per Success：每次成功执行的综合成本。
4. 安全性（Security）------ 2026 重中之重
确保"不会坏事"。
- Injection Resistance：防御 Prompt/Command/SQL 注入。
- Data Leakage Check：输出中是否包含硬编码密钥或敏感信息。
- Policy Compliance：是否违反企业政策（如未经授权访问数据）。
5. 业务价值（Value）
确保"值得装上"。
- Δ Task Success Rate：安装该 Skill 前后，Agent 整体成功率的差值。
- Δ Human Intervention Rate：人工干预率的下降幅度。
- Utility Delta：通过差分评估（A/B Test）验证增量价值。
三、2026 主流测评工具全景（附 GitHub）
根据测评场景，将工具分为四类。注：部分工具为 Claude Skill Monorepo 内的子模块，非独立仓库。
1. 专用测评框架（核心层）
| 工具 | GitHub 地址 | 核心定位 | 适合场景 |
|---|---|---|---|
| SkillTester | https://github.com/skilltester-ai/skilltester | 第三方 Marketplace 验货，效用+安全双评分 | 挑选或发布第三方 Skill |
| SkillAudit | https://github.com/SkillAudit/skillaudit | 端到端审计（效用/成本/安全三维），浏览器插件 | Skill 发布前全景体检 |
| agent-skills-eval | https://github.com/darkrishabh/agent-skills-eval | Anthropic SKILL.md 标准 CLI，差分+HTML报告 | Dev 循环、CI/CD 回归 |
| skill-audit | https://github.com/edloidas/skill-audit | 6 维并行 Subagent 扫描（Spec/Instruction/Safety等） | LobeHub/Claude 生态批量质检 |
| Skill-Grader | https://github.com/curiositech/some_claude_skills | 10 维度字母等级 (A+~F)，加权总评 | Claude 生态 Skill 质量打分 |
| Skill-Tester | https://github.com/pavel-molyanov/molyanov-ai-dev | 触发准确率专项（TP/TN/FN/FP 四维） | 解决 Skill "该触发不触发/不该触发乱触发" |
2. 安全专项（2026 热点）
| 工具 | 地址 | 核心定位 | 适合场景 |
|---|---|---|---|
| SkillTrustBench | https://huggingface.co/datasets/cuhk-zhuque/SkillTrustBench | 首个 Skill 安全基准，5520 用例 × 9 类威胁 | 平台准入门槛、扫描器选型 |
| AI-Infra-Guard | https://github.com/Tencent/AI-Infra-Guard | 一站式 AI 红队扫描（MCP/Skill/Workflow） | 企业内网自部署，上线前红队 |
3. 生态附属与工程底座
| 工具 | 地址 | 核心定位 |
|---|---|---|
| agent-insight | https://atomgit.com/openeuler/agent-insight | 框架无关底座：观测·评测·Skill 优化三位一体 |
| Claude Code skill-creator | 内置插件 | 官方三维度量化（触发准确率/输出质量/效率） |
⚠️ 避坑指南 ：
SkillTester（智源，市场验货）≠Skill-Tester（pavel，触发准确率）。两者完全不同，切勿混淆。
四、标准化测评流程（SOP）
结合上述工具，建立标准化的 Skill 测评流水线：
阶段一：开发期（Local Dev）
- 格式校验 ：使用
agent-skills-eval --strict检查 SKILL.md 合规性。 - 差分验证 ：运行
agent-skills-eval --baseline，对比有无 Skill 的效用差异。 - 质量打分 ：使用
Skill-Grader或skill-audit评估代码与指令质量。
阶段二：预发布（Staging）
- 安全扫描 ：接入 AI-Infra-Guard，进行静态与动态红队测试。
- 触发测试 ：使用 Skill-Tester 验证触发逻辑的精准度，避免误触。
- 成本测算：统计 P95 延迟与 Token 消耗，设定预算阈值。
阶段三：发布与上线（Prod）
- 全景审计 ：提交 SkillAudit 生成正式报告，或对照 SkillTrustBench 基线。
- 灰度发布 ：监控
Δ Task Success Rate，一旦为负立即回滚。 - 持续观测 ：接入 agent-insight，建立 Skill 全生命周期监控。
五、实战案例：天气查询 Skill 测评
| 维度 | 测评工具 | 预期结果 |
|---|---|---|
| 功能 | agent-skills-eval | 输入"北京明天天气"，返回 JSON 包含 temp/humidity/wind。 |
| 鲁棒性 | Skill-Tester | 输入"南极洲 2099-01-01"，返回"暂不支持"而非报错。 |
| 安全 | AI-Infra-Guard | 输入 <script>alert(1)</script>，无 XSS 执行或敏感数据泄露。 |
| 价值 | SkillAudit | 对比"Agent 直接查"vs"调用 Skill 查"，准确率提升 >15%。 |
六、总结与趋势
2026 年，Skill 测评已完成从"黑盒盲测"到"白盒工程化"的转型。
- 安全左移 ：Skill 安全不再是上线后的补救，而是通过 SkillTrustBench 和 AI-Infra-Guard 前置到开发环节。
- 工具链成熟 ：从 agent-skills-eval 的 CLI 集成到 agent-insight 的平台化管理，工具链已能支撑企业级落地。
- 价值量化：通过差分评估（Differential Evaluation），我们终于能科学回答："这个 Skill 到底有没有用？"
行动建议：
- 开发者 ：立即将
agent-skills-eval接入你的 CI 流程。 - 平台方 ：将
SkillTrustBench作为 Skill 市场的硬性准入标准。 - 企业用户 ：使用
SkillAudit或SkillTester对第三方 Skill 进行"验货"，切勿直接安装未知来源的 Skill。
只有建立严格的 Skill 测评防线，AI Agent 才能真正从"玩具"走向"生产力工具"。