LoRA 微调后幻觉排查 Checklist

1. 数据层面

  • 数据量够吗?

    • 少量样本(几千条以下)容易导致过拟合和幻觉。
  • 数据是否高质量?

    • 是否有事实错误、模糊答案?
  • 覆盖范围够吗?

    • 是否只覆盖了窄领域,而推理时遇到"未见过"的问建议:扩大数据集规模、清洗低质量样本、增加多样化覆盖。

2. 模型层面

  • 基座模型本身是否容易幻觉?

    • 有些大模型本来就事实性较差,LoRA 无法根本修复。
  • LoRA rank / α 参数是否过小?

    • 表达能力不足,导致模型无法学到可靠约束。
  • 是否考虑了 PEFT 以外的方法?

    • 比如 Adapter、Prefix Tuning,某些任务比 LoRA 更合适。

建议:调大 LoRA rank,或者尝试混合参数高效微调方法。

3. 训练策略层面

  • 训练目标是否合理?

    • 仅 SFT(监督微调)可能让模型"会说话",但不会"说真话"。
  • 是否做了对齐训练(RLHF / DPO / contrastive loss)?

    • 没有对齐,模型更容易随便编造。
  • 是否检查过过拟合?

    • 训练集上表现很好,但验证集/推理时出现幻觉 → 过拟合信号。

建议:在 SFT 后补充对齐训练,引入 fact-check loss 或 RLHF。

4. 推理层面

  • 解码策略是否过于自由?

    • Temperature 太高、top-p 太大 → 输出更随机 → 幻觉增多。
  • 是否提供了足够的上下文?

    • 提示词没给足背景,模型就会凭空填补。
  • 是否尝试过工具调用 / RAG?

    • 纯模型生成往往难以保证事实性,可以加外部知识库检索。

建议:

  • 降低 temperature(如 0.2~0.5),收紧 top-p。

  • 优化 prompt,加入"不要编造,如果不知道就回答不知道"。

  • 加入 RAG(检索增强生成),让模型有知识支撑。

总结路径

  1. 先看数据 → 够不够、准不准。

  2. 再看 LoRA 参数 → rank、适配能力。

  3. 再看训练方式 → 是否仅做了 SFT,缺乏对齐。

  4. 最后看推理设置 → 解码参数、上下文、工具辅助。

相关推荐
程序员陆业聪11 小时前
AI智能体的未来:从语言泛化到交互革命
人工智能
小小程序媛(*^▽^*)11 小时前
第十二届全国社会媒体处理大会笔记
人工智能·笔记·学习·ai
却道天凉_好个秋11 小时前
OpenCV(二):加载图片
人工智能·opencv·计算机视觉
音视频牛哥11 小时前
系统级超低延迟音视频直播模块时代:如何构建可控、可扩展的实时媒体底座
人工智能·音视频·大牛直播sdk·rtsp播放器·rtmp播放器·rtsp服务器·rtmp同屏推流
学無芷境12 小时前
VOCO摘要
人工智能
格林威12 小时前
机器视觉的工业镜头有哪些?能做什么?
人工智能·深度学习·数码相机·算法·计算机视觉·视觉检测·工业镜头
Jolie_Liang12 小时前
保险业多模态数据融合与智能化运营架构:技术演进、应用实践与发展趋势
大数据·人工智能·架构
烽火连城诀12 小时前
人工智能在工程项目进度预测与风险识别中的应用
人工智能·文献综述·如何写文献综述·文献综述模板·文献综述怎么写
程序员陆通13 小时前
OpenAI 2025年度发布会(Dev Day 2025)主要内容
人工智能
kalvin_y_liu13 小时前
.NET+AI: (微家的AI开发框架)什么是内核记忆(Kernel Memory)?
人工智能·.net