今天聊聊RAG技术:RAG(检索增强生成)是配合LLM解决企业内部私有知识问答的关键技术.LLm能力很强,但没有获取企业内部私有知识的权限,设想有这样一个业务场景:客户询问某企业内部相关知识的信息,有一个系统能够结合企业内部的相关信息,对客户的提问做出精准回答.而这就是RAG技术解决的问题.RAG具体过程是两个板块:离线知识库的搭建和在线检索两个阶段.离线知识库搭建:准备企业内部相关文档,实际情况,通常是选择markdown格式.用相应的文档加载器读取,相应文档加载器在langchain框架下有相应提及,然后就是将分档分块,langcahin框架下也有相应切割器.切块大小有讲究.对切后的块选择相应的向量模型,转化成向量.前面介绍过bge-m3这个向量模型,一般就是将块同时转化成稀疏和稠密向量.然后就是对块的保存.通常是选择milvus向量库存储.在前面也聊过milvus向量库的优点.支持混合检索(稀疏和稠密向量检索,其他也行).然后就是对每个块保存原始内容和向量化之后的内容.建立对每个块的索引,通常还需设定溯源字段(便于后续追踪).在线检索阶段:一般选择混合检索.这里的混合检索采用的是稀疏和稠密检索.为什么这样?稀疏检索是对用户问题里面的关键词进行精准匹配.稠密检索是对用户问题的语义上面的深度捕捉.混合检索实现了对用户问题的精准查找.也是多数企业选择的方式.先是接收用户的问题query,然后和离线知识库搭建过程的相同向量模型对query进行转换为稀疏和稠密向量.分别去和数据库的每个向量计算相似度,最后pymilvus提供两种融合策略.RRF和Wightedreranker.选出top-k.最后这一步,一般还需一个向量模型对上面选出的top-k进行精排,再返回几个分数最高的向量块,最后定位到原始切块,拼接用户的query一起返给大模型.写好提示词,返回给用户相应的回答,这就是RAG的大致流程.
相关推荐
简～7681 小时前
python openpyxl处理Excel成绩表自动统计梦想不只是梦与想1 小时前
Python 官方包管理器pip沐泽百川1 小时前
AI 应用上线后怎么排查问题？日志与可观测性应该这样设计在世修行1 小时前
第17篇：晶粒尺寸统计算法 — 从像素到微米的转换万点科技码农2 小时前
2025年7月11日行业热点解读：定制软件开发与AI工作流重构一体化趋势JL152 小时前
Agent工程-为什么Agent必须有观测和Tracing用户6954977099492 小时前
第 8 章 vLLM/LMDeploy/Triton 适配 DeepSeek 源码改造波动几何2 小时前
角色生成器character-builderdayuOK63072 小时前
AI Agent市场爆发：从“试一试”到“离不开”，只用了不到一年