PYTHON+AI LLM DAY SEVENTY-SIX

今天细致聊聊RAG(检索增强生成):RAG是目前的大模型(LLM)领域里一门常用的技术.可以用来缓解大模型的幻觉问题(大模型的训练的知识都有一个截至日期,超过这个日期的事就不知道了),更多常见的应用是用来部署在企业内部,来解决企业里面一些私有知识的问答.替代Iora微调带来的高成本风险,转而是一种快捷的,便利的,低成本的,安全的方案.RAG技术主要分为两个阶段:离线阶段:这个阶段也是数据的准备阶段.大致过程就是:先是获取各种文档,例如:PDF,HTML等完成加载,然后是将这些文档按照一点过的规则进行切块处理,然后是向量化:使用嵌入(向量)模型将文本转换为高维向量..最后是将文本块及其相应的向量存入专门的向量库.例如Milvus,FAISS等.在线阶段.这里主要是完成文本的检索阶段.大致过程是:先是获取用户的提问,,进行切块处理,然后用相同的嵌入(向量)模型对切块部分进行向量化.最后是去向量库中通过相似度(不同的向量库,用到的是不同的相似度.例如Milvus用到的是余弦相似度,Chroma用到的是欧式距离)找出最关的TOP-K个文本片段.如果配合大模型的话.最后生成的TOP-K个片段连同用户提示词一起投给大模型,大模型基于这个增强版的提示词(这个提示词的部分就是文档里面的专业知识的解析,是大模型没有学到的私有知识或者是一些时效性更强的一些知识,是在大模型训练阶段完成之后的知识.)完成问题的输出部分.另外:在高级 RAG 架构中，还会加入"重排序（Rerank）"机制，对初步检索的结果进行二次打分和过滤，以确保喂给大模型的上下文质量最高.