rag面试题之rag 系统如何解决 llm 的幻觉问题

大模型幻觉主要两类:

  1. 知识幻觉:模型自身参数里没有该知识,凭空编造事实、数据、引用;
  2. 推理幻觉:输入上下文存在,但是模型错误理解、篡改、乱拼接上下文内容。

RAG 不是彻底消除幻觉,是最大程度抑制幻觉,把回答约束在检索回来的参考资料范围内,幻觉无法 100% 根除

RAG 从四个环节抑制大模型幻觉。

第一,索引阶段,保证原始文档质量,合理分块,清洗去重,保证知识库本身可靠。

第二,检索环节,使用向量加 BM25 混合检索,搭配 Rerank 重排序,过滤无关片段;设置相似度阈值,检索不到相关内容就直接拒答,不强行回答。

第三,Prompt 层约束大模型,要求只能基于检索上下文作答,没有信息就如实说明,同时输出引用来源。

第四,生成后做事实校验后处理,校验答案和参考资料是否匹配。 【一方面可以做评估,另一方面: 将不合理的引用去掉】

但 RAG 不能完全消除幻觉,如果知识库本身错误或者模型推理出错,依然会出现问题。

相关推荐
jyOverQ3 小时前
LangGraph 流式执行详解:stream、astream 与 stream_mode 怎么选?
python·langchain
ZGi.ai3 小时前
ZGI Workflow:让知识检索进入业务流程
workflow·rag·企业知识库·zgi
云烟成雨TD3 小时前
LlamaIndex 系列【4】入门案例(阿里云百炼适配)
ai·agent·rag·llamaindex
l1258654 小时前
# RAG低延迟架构设计:从5秒到500ms的优化全链路
数据库·人工智能·python·langchain
睡觉时不困4425 小时前
17.LangChain 1.0+ 第五篇:Tools 工具——让大模型从认识世界到改变世界
langchain
为你学会写情书5 小时前
NestJS + LangChain 集成指南:从库封装到手动构建
langchain
草莓熊Lotso5 小时前
【Linux网络加餐】手动部署:SSH 与 Web 服务实战 + 底层原理全解析
linux·运维·网络·人工智能·python·langchain·ssh
65岁退休Coder1 天前
LangChain v1.3.4 笔记 - 08 MCP & 相关概念
后端·python·langchain