【大模型】大模型项目选择 RAGvs微调?

RAG

输入问题,在知识库匹配知识,构建提示词:基于{知识}回答{问题}

微调

用知识问答对重新训练大模型权重,输入问题到调整后的大模型

如何选择

如果业务要求较高,RAG和微调可以一起使用

1-动态数据

复制代码
选择RAG
原因:RAG将数据存放到数据库即可,微调需要重新训练模型,微调成本大

2-模型能力定制

复制代码
选择微调
原因:用户想要回答有特殊口吻/专业内容等,如猫娘大模型/阅读研报/文本抽取内容,微调可以定制回答

3-幻觉

复制代码
选择RAG
原因:带有上下文知识的输入会减少模型幻觉的产生

4-可解释性

复制代码
选择RAG
原因:RAG可以给用户输出知识库数据供参考,提高回答可信度

5-成本

复制代码
选择RAG
原因:RAG只需要构建出知识图谱/知识数据库即可,而微调需要考虑数据集质量以及不断训练模型,微调成本高

6-依赖大模型通用能力

复制代码
选择RAG
原因:微调会改变大模型的权重,提高模型专业能力,但会降低模型通用能力(模型遗忘)

7-延迟

复制代码
选择微调
原因:RAG会有如知识库检索、排序、匹配等操作,会耗时

8-智能设备

复制代码
选择微调
原因:移动端小模型,业务场景需要突出专业能力
相关推荐
Python算法实战12 小时前
平安大模型面试题:Self-Attention 原理与多头注意力设计
人工智能·算法·自然语言处理·大模型·面试题
Python算法实战12 小时前
腾讯送命题:手写多头注意力机制。。。
人工智能·算法·面试·大模型·强化学习
小龙19 小时前
【理论知识】Q/K/V权重矩阵学习笔记
矩阵·大模型·transformer·多头注意力机制·理论基础
花菜会噎住20 小时前
Chainlit+LlamaIndex 多模态 RAG 开发实战7:从系统架构到功能落地,搞定 PDF/PPT/ 图片全类型文件处理
pdf·大模型·rag·llamaindex
文火冰糖的硅基工坊21 小时前
[人工智能-大模型-29]:大模型应用层技术栈 - 第二层:Prompt 编排层(Prompt Orchestration)
人工智能·大模型·prompt·copilot
小龙1 天前
【基础理论】位置向量|位置编码学习笔记
大模型·transformer·基础理论·位置编码
小新学习屋2 天前
大模型-智能体-【篇四: Agent GPT 、AgentTuning、LangChain-Agent】
gpt·langchain·大模型·智能体
攻城狮7号2 天前
OpenAI 的 Sora 2来了:一场创意革命与失控的狂欢
人工智能·大模型·openai·ai视频·sora 2
文火冰糖的硅基工坊2 天前
[人工智能-大模型-15]:大模型典型产品对比 - 数字人
人工智能·大模型·大语言模型
viperrrrrrrrrr72 天前
milvus向量数据库
数据库·大模型·llm·milvus