【大模型】大模型项目选择 RAGvs微调？

静待缘起2024-12-20 22:49

RAG

输入问题，在知识库匹配知识，构建提示词：基于{知识}回答{问题}

用知识问答对重新训练大模型权重，输入问题到调整后的大模型

如果业务要求较高，RAG和微调可以一起使用

1-动态数据

复制代码

选择RAG
原因：RAG将数据存放到数据库即可，微调需要重新训练模型，微调成本大

2-模型能力定制

复制代码

选择微调
原因：用户想要回答有特殊口吻/专业内容等，如猫娘大模型/阅读研报/文本抽取内容，微调可以定制回答

3-幻觉

复制代码

选择RAG
原因：带有上下文知识的输入会减少模型幻觉的产生

4-可解释性

复制代码

选择RAG
原因：RAG可以给用户输出知识库数据供参考，提高回答可信度

5-成本

复制代码

选择RAG
原因：RAG只需要构建出知识图谱/知识数据库即可，而微调需要考虑数据集质量以及不断训练模型，微调成本高

6-依赖大模型通用能力

复制代码

选择RAG
原因：微调会改变大模型的权重，提高模型专业能力，但会降低模型通用能力（模型遗忘）

7-延迟

复制代码

选择微调
原因：RAG会有如知识库检索、排序、匹配等操作，会耗时

8-智能设备

复制代码

选择微调
原因：移动端小模型，业务场景需要突出专业能力