大模型学习2

微调,在已经成熟的经过了预训练,SFT,RLHF这些操作过后进行的客制化操作。 --模型能不足或者希望固化一些知识省promote的时候

1.全参微调 需要至少80G以上的显存

2.PEFT,LoRA低秩适配

稳定性:微调

新语言新方式:续训。 成本高高高高。

RAG外挂知识库。 成本低一点RAG。

智能体:

1.大语言模型的大脑 2.有记忆 3.会用调用工具 4.可以去进行规划决策 5.可以执行某个操作

工具调用:1.function call 不足:工具实现与服用比较复杂。可能代码没有很多健壮性的考虑禁不起测试。

MCP标准,标准化工程函数。工具统一化

RAG --大模型知识冻结 减少幻觉 类似开卷考试。

检索语义相近的内容

相关推荐
li星野3 小时前
相位补偿学习记录:把被颅骨“打乱“的声波重新对齐
学习
Z21-X3 小时前
云原生运维学习笔记:ECShop全链路容器化部署与Docker底层资源隔离深度剖析
运维·笔记·学习·云原生
red_redemption4 小时前
自由学习记录(230)
学习
晓梦林8 小时前
BUUCTF-菜刀流量-MISC-学习笔记
笔记·学习
Godspeed Zhao18 小时前
从零开始学AI25——无监督学习之层次聚类
学习·机器学习·聚类
David猪大卫1 天前
【C++修炼】map 和 set 的使用
c语言·开发语言·数据结构·c++·经验分享·笔记·学习
HPtiger1 天前
C++ 入门笔记:从 C 到 C++ 的核心过渡(命名空间、输入输出、缺省参数、重载、引用、内联)
c语言·c++·学习
fengci.1 天前
CTF2MISC中等部分
开发语言·前端·学习
YueTann1 天前
mgtv5th-baseline学习
学习
蒸蒸yyyyzwd1 天前
从后端面经学到的 3 个知识
笔记·学习