自动化回归 - 自动化回归技术,学习,经验文章

爱好曙光

1 天前

LLM在线评测：A/B测试与回归自动化实战离线评测依赖固定测试集（如 MMLU、HumanEval）计算 BLEU、ROUGE、GPT-4 评分等指标，优点是成本低、可重复，但存在两大天然鸿沟：静态数据集永远无法覆盖线上长尾分布（用户真实提问的风格、上下文长度、领域混合度），指标本身与用户体验弱相关（高分未必意味着用户喜欢）。例如一个回答 BLEU 得分 0.85 但带有事实性错误，用户可能直接点踩；而另一个回答虽然转述略有不同但正确且友好，用户会点赞。