大模型工程化实战（十）：Human-in-the-Loop 反馈闭环——三层清洗打造 Golden Set，拒绝“点赞即真理”第 9 篇《Token 成本六维优化》结尾我说过一句话：再压就伤质量，而伤没伤，评测集说了不算——线上真实用户觉得行不行，得有人把话递回来。我把话递回来的方式很朴素：给每个回答挂上点赞点踩，攒够一批回灌 golden set，让质量底线跟着真实反馈走。上线第一周数据漂亮得不像话——500 条反馈，一片叫好。团队兴冲冲把“被赞最多的输出”当 gold 灌进评测集，第二周评测分数开始说胡话：某个被用户狂赞的回答，人工一查是“顺耳但错”的流畅幻觉。那一刻我明白：把“用户觉得好”直接当“答案是对的”，评测集就废了