rag面试题之rag 系统如何解决 llm 的幻觉问题

大模型幻觉主要两类:

  1. 知识幻觉:模型自身参数里没有该知识,凭空编造事实、数据、引用;
  2. 推理幻觉:输入上下文存在,但是模型错误理解、篡改、乱拼接上下文内容。

RAG 不是彻底消除幻觉,是最大程度抑制幻觉,把回答约束在检索回来的参考资料范围内,幻觉无法 100% 根除

RAG 从四个环节抑制大模型幻觉。

第一,索引阶段,保证原始文档质量,合理分块,清洗去重,保证知识库本身可靠。

第二,检索环节,使用向量加 BM25 混合检索,搭配 Rerank 重排序,过滤无关片段;设置相似度阈值,检索不到相关内容就直接拒答,不强行回答。

第三,Prompt 层约束大模型,要求只能基于检索上下文作答,没有信息就如实说明,同时输出引用来源。

第四,生成后做事实校验后处理,校验答案和参考资料是否匹配。 【一方面可以做评估,另一方面: 将不合理的引用去掉】

但 RAG 不能完全消除幻觉,如果知识库本身错误或者模型推理出错,依然会出现问题。

相关推荐
hyunbar10 小时前
LangChain 实战:什么是MiddleWare(中间件)?
中间件·langchain
王国强200910 小时前
LangChain 1.0 之后:从 Agent 框架走向 AI 应用运行时
langchain
一只小bit11 小时前
LlamaIndex框架:简单RAG框架的全过程实现手册
llm·milvus·rag·llamaindex·deepseek
XGeFei12 小时前
【LangChain—Advanced usage—Guardrails】
langchain
云烟成雨TD12 小时前
LlamaIndex 系列【24】检索增强策略:交叉编码器(Cross‑Encoder)
ai·agent·rag·llamaindex
Darling噜啦啦14 小时前
LangGraph 实战:从 StateGraph 基础到多 Agent 编排,分支循环中断恢复全掌握
langchain·agent
码农哈丁14 小时前
用 Trait 给系统留出后路:RAG 存储层如何做到 5 种后端可插拔
人工智能·知识图谱·rag
李洱18 小时前
LangChain 基础知识
langchain
2601_9622974818 小时前
基于LangChain+LLM大模型+机器学习的恶意域名(流量)智能检测系统
机器学习·langchain·llm·恶意域名·流量检测
XGeFei20 小时前
【LangChain—Frontend—Overview】
langchain