llm确定性 - llm确定性技术,学习,经验文章

寻道码路

3 小时前

大模型工程化实战（一）：概率坍塌的救赎 - 给LLM输出加锁凌晨 3:07，我被 P0 报警震醒。监控面板上，订单解析服务过去一小时抛出了第 217 次 JSONDecodeError——不是 217 次请求，是 217 次异常。LLM 吐出的"JSON"里混进了一个没闭合的大括号，还带一句"很抱歉，以下是提取结果"。下游订单系统排着队等这份数据，断了整整 11 分钟。我们守着 temperature=0、写了 30 行 prompt 强调"必须输出合法 JSON"，大模型照样随机抽风。