rag面试题之rag 系统如何解决 llm 的幻觉问题

大模型幻觉主要两类:

  1. 知识幻觉:模型自身参数里没有该知识,凭空编造事实、数据、引用;
  2. 推理幻觉:输入上下文存在,但是模型错误理解、篡改、乱拼接上下文内容。

RAG 不是彻底消除幻觉,是最大程度抑制幻觉,把回答约束在检索回来的参考资料范围内,幻觉无法 100% 根除

RAG 从四个环节抑制大模型幻觉。

第一,索引阶段,保证原始文档质量,合理分块,清洗去重,保证知识库本身可靠。

第二,检索环节,使用向量加 BM25 混合检索,搭配 Rerank 重排序,过滤无关片段;设置相似度阈值,检索不到相关内容就直接拒答,不强行回答。

第三,Prompt 层约束大模型,要求只能基于检索上下文作答,没有信息就如实说明,同时输出引用来源。

第四,生成后做事实校验后处理,校验答案和参考资料是否匹配。 【一方面可以做评估,另一方面: 将不合理的引用去掉】

但 RAG 不能完全消除幻觉,如果知识库本身错误或者模型推理出错,依然会出现问题。

相关推荐
东莞市云毅网络有限公司1 小时前
FAQ 覆盖度打分:TF-IDF 与向量嵌入双路召回的 Python 实现
python·数据清洗·rag·企业知识库·文档解析
Flynn Liang5 小时前
Rerank 与上下文工程:重排、压缩与引用溯源的收益边界
langchain·rag·langchain4j·rerank·上下文工程·引用溯源
Flynn Liang9 小时前
RAG 评估体系:黄金集、检索指标与 LLM-as-Judge 落地
java·langchain·rag·评估·langchain4j·检索指标
nice_lcj5201 天前
【从零理解 Spring AI · 14】RAG 的四个环节:加载、切分、向量化、检索
java·spring boot·embedding·向量数据库·rag·spring ai·ai应用开发
典学长编程1 天前
RAG 进阶学习:索引构建阶段与检索增强阶段
向量数据库·rag·索引构建·文本向量化·mmr·索引增强·最大边际相关性
啊吧怪不啊吧1 天前
LangChain之绑定工具
langchain
nice_lcj5201 天前
【从零理解 Spring AI · 15】让检索更准:先宽召回,再精排序
java·后端·rag·spring ai·ai应用开发·检索优化·重排序
努力的小郑2 天前
数据查到了,回答去哪儿了?一次百炼 + LangChain 排查实录
后端·langchain·agent
Java后端的Ai之路3 天前
RAG 还是 Agent 自主检索?Claude Code 删掉向量库之后,我把选型讲透了
开发语言·人工智能·prompt·agent·rag