如何让大模型稳定输出JSON格式数据

1. prompt层面：首先在prompt中进行schema注入，写好输出示例并使用几组正负示例来规范模型输出。然后在prompt的末尾添加强约束进一步规范，或加校验指令，让模型自我校验格式是否正确。
2. 模型层面：使用Structured Outputs，让模型每生成一个token都做语法校验，不符合json字符的语法禁止生成，最终生成预设的JSON结构。
3. 代码层面的校验：对模型输出的JSON可以使用Pydantic、json.loads等方法校验json结构。除了对JSON结构的校验外，还可以针对实际业务，比如哪些json是必选字段但没生成、枚举值是否合法、嵌套结构是否完整等。
4. 增加重试与降级策略：对于输出结构不对时，让模型结合报错信息重新生成，并追加更强约束的prompt。复杂 JSON 拆分为多个简单 JSON 分段生成，降低单轮生成难度。
5. 对于工程化任务增加埋点进行观测，包括JSON 解析失败率、字段缺失率、重试次数、异常文本样本，根据这些异常去调整Prompt，对模型进行微调。