大模型学习2

微调,在已经成熟的经过了预训练,SFT,RLHF这些操作过后进行的客制化操作。 --模型能不足或者希望固化一些知识省promote的时候

1.全参微调 需要至少80G以上的显存

2.PEFT,LoRA低秩适配

稳定性:微调

新语言新方式:续训。 成本高高高高。

RAG外挂知识库。 成本低一点RAG。

智能体:

1.大语言模型的大脑 2.有记忆 3.会用调用工具 4.可以去进行规划决策 5.可以执行某个操作

工具调用:1.function call 不足:工具实现与服用比较复杂。可能代码没有很多健壮性的考虑禁不起测试。

MCP标准,标准化工程函数。工具统一化

RAG --大模型知识冻结 减少幻觉 类似开卷考试。

检索语义相近的内容

相关推荐
传奇开心果编程1 小时前
【SwiftUI提高练中学】第13课 实时活动与灵动岛:ActivityKit 实战
学习·ui·ios·swiftui·swift
欣欣之王来了1 小时前
Python入门:什么是Python以及为什么选择它
学习·架构·面向对象·项目·python教程
dadaobusi2 小时前
pcie原子操作和nvme原子操作
学习
sunshine22 girl2 小时前
Java学习五 面向对象高级5 内部类1
java·学习
每天题库4 小时前
架子工脚手架工题库:安全操作考点与模拟题练习指南
学习·安全·考试·题库·考证
yangmu32035 小时前
Codex 提示词优化教程:用四要素把模糊需求变成可执行任务
人工智能·学习
无敌贵点大王6 小时前
RTThread学习记录13——关于要使用一个外设,RTThread与cubemx到底要怎么配合?
c语言·stm32·学习·rtthread
喜欢打篮球的普通人7 小时前
MiniMind 学习笔记(十二):Pretrain 实操——从版本梳理到 8GB 显卡上的真实训练
人工智能·笔记·学习
m4Rk_8 小时前
【论文阅读】Agent 记忆机制(87):VizoMem——把文本历史转化为可检索的视觉记忆
论文阅读·人工智能·学习·开源·github
坤坤子吖9 小时前
算法学习——高精度加减乘除
c++·笔记·学习·算法