大模型学习2

微调,在已经成熟的经过了预训练,SFT,RLHF这些操作过后进行的客制化操作。 --模型能不足或者希望固化一些知识省promote的时候

1.全参微调 需要至少80G以上的显存

2.PEFT,LoRA低秩适配

稳定性:微调

新语言新方式:续训。 成本高高高高。

RAG外挂知识库。 成本低一点RAG。

智能体:

1.大语言模型的大脑 2.有记忆 3.会用调用工具 4.可以去进行规划决策 5.可以执行某个操作

工具调用:1.function call 不足:工具实现与服用比较复杂。可能代码没有很多健壮性的考虑禁不起测试。

MCP标准,标准化工程函数。工具统一化

RAG --大模型知识冻结 减少幻觉 类似开卷考试。

检索语义相近的内容

相关推荐
Slow菜鸟4 小时前
AI学习篇(五) | awesome-design-md 使用说明
人工智能·学习
狐狐生风5 小时前
LangChain 向量存储:Chroma、FAISS
人工智能·python·学习·langchain·faiss·agentai
狐狐生风5 小时前
LangChain RAG 基础
人工智能·python·学习·langchain·rag·agentai
努力努力再努力FFF8 小时前
医生对AI辅助诊断感兴趣,作为临床人员该怎么了解和学习?
人工智能·学习
sakiko_9 小时前
UIKit学习笔记5-使用UITableView制作聊天页面
笔记·学习·swift·uikit
Alice-YUE10 小时前
【js高频八股】防抖与节流
开发语言·前端·javascript·笔记·学习·ecmascript
北山有鸟11 小时前
修改源码法和插件法
嵌入式硬件·学习
richxu2025100111 小时前
嵌入式学习之路->stm32篇->(14)通用定时器(上)
stm32·单片机·嵌入式硬件·学习
qeen8711 小时前
【数据结构】建堆的时间复杂度讨论与TOP-K问题
c语言·数据结构·c++·学习·
lizhihai_9912 小时前
股市学习心得-六张分时保命图
大数据·人工智能·学习