大模型学习2

微调,在已经成熟的经过了预训练,SFT,RLHF这些操作过后进行的客制化操作。 --模型能不足或者希望固化一些知识省promote的时候

1.全参微调 需要至少80G以上的显存

2.PEFT,LoRA低秩适配

稳定性:微调

新语言新方式:续训。 成本高高高高。

RAG外挂知识库。 成本低一点RAG。

智能体:

1.大语言模型的大脑 2.有记忆 3.会用调用工具 4.可以去进行规划决策 5.可以执行某个操作

工具调用:1.function call 不足:工具实现与服用比较复杂。可能代码没有很多健壮性的考虑禁不起测试。

MCP标准,标准化工程函数。工具统一化

RAG --大模型知识冻结 减少幻觉 类似开卷考试。

检索语义相近的内容

相关推荐
霸道流氓气质27 分钟前
Java 工程师 AI 智能体(Agent)完整学习路线
java·人工智能·学习
想要入门的程序猿1 小时前
摄影测量学习()
数码相机·学习
worilb1 小时前
Spring Cloud 学习与实践(13):使用 Seata 解决分布式事务问题
分布式·学习·spring cloud
渣渣灰飞1 小时前
MySQL 系统学习 第四阶段:MySQL 高级 第一节:索引(Index)
数据库·学习·mysql
星子yu2 小时前
【学习】怎么学好数据结构
数据结构·学习
~kiss~2 小时前
MoE的痛点:离散路由
学习
Amazing_Cacao2 小时前
CFCA精品可可工艺师初级校准:暴力破解机器黑盒,实现物理参数与最终风味的精准对齐
笔记·学习
浮江雾3 小时前
Flutter第三节----Dart中的数据类型
android·开发语言·学习·flutter·入门·函数
风和先行3 小时前
Android 数据库相关学习总结
android·数据库·学习
chh5634 小时前
C++--list
开发语言·数据结构·c++·学习·算法·list