rag面试题之rag 系统如何解决 llm 的幻觉问题

大模型幻觉主要两类:

  1. 知识幻觉:模型自身参数里没有该知识,凭空编造事实、数据、引用;
  2. 推理幻觉:输入上下文存在,但是模型错误理解、篡改、乱拼接上下文内容。

RAG 不是彻底消除幻觉,是最大程度抑制幻觉,把回答约束在检索回来的参考资料范围内,幻觉无法 100% 根除

RAG 从四个环节抑制大模型幻觉。

第一,索引阶段,保证原始文档质量,合理分块,清洗去重,保证知识库本身可靠。

第二,检索环节,使用向量加 BM25 混合检索,搭配 Rerank 重排序,过滤无关片段;设置相似度阈值,检索不到相关内容就直接拒答,不强行回答。

第三,Prompt 层约束大模型,要求只能基于检索上下文作答,没有信息就如实说明,同时输出引用来源。

第四,生成后做事实校验后处理,校验答案和参考资料是否匹配。 【一方面可以做评估,另一方面: 将不合理的引用去掉】

但 RAG 不能完全消除幻觉,如果知识库本身错误或者模型推理出错,依然会出现问题。

相关推荐
AI你一生一世35 分钟前
Attention is all you have:当上下文成为唯一的护城河
人工智能·大语言模型·注意力机制·rag·长上下文·上下文窗口·推理成本
Maiko Star3 小时前
* LangChain 自定义中间件详解:Hook、装饰器、类与执行顺序
中间件·langchain
夏天拐跑了西瓜9 小时前
一文入门LangChain:从框架认知到构建你的第一个AI Agent
python·langchain·conda·agent
BD_Marathon16 小时前
LangSmith的介绍与基本使用
langchain
Alson_Code17 小时前
从0到1打造个人专属编程智能体
人工智能·langchain·ai编程
独码侠19 小时前
Dify 知识库 RAG 实战:把 100 页手册变成会回答的 AI
人工智能·向量·知识库·dify·rag
柒和远方1 天前
LangSmith RAG 量化评估:从"感觉还行"到"数据说话"
langchain·llm·测试
染指11101 天前
131.Agent-Agent设计模式-MAS多智能体系统(Multi-Agent-System)
人工智能·设计模式·langchain·agent·agents
银河技术1 天前
TB级文本去重实战:从单机 OOM 到 Spark / Ray 分布式架构的工程演进
分布式·微服务·重构·架构·spark·llm·rag