Agent入门学习一

1)快速笔记和感触

a)概述

Agent = LLM(大脑) + 上下文(观测) + 工具(手脚)

延伸到

Agent = LLM + 上下文 + 工具 + 约束 + 验证 + 纠正 = Model + Harness

没有Harness 的模型就像脱绳的野马

各家模型差距不是那么大,更多是工程实践上,然后从能做事情变成可靠做事

绝大部分代码不是工具本身,主要是保障机制,流程状态管理,

多层上下文压缩,权限分类,熔断器恢复等等

b)重点是:上下文工程

系统提示词和工具定义是静态前缀,用户消息、模型回复、工具结果是不停增长的轨迹。

b.1)KVcache三条定律,

a)系统提示词与工具定义,系统提示词一旦定下来就不要改

b)动态信息永远追加到末尾,时间,用户状态比较容易改变

c)标准的API格式,不能偏离模型训练没见过的格式

生产系统的纪律是:静态前缀要字节级稳定,动态信息一律追加到末尾。KV Cache 不是性能优化,是架构约束。

b.2)Agent状态栏相当于提练层 做总结,状态栏就是把这种替模型算好的结论持续放进上下文:TODO 列表、当前时间、工具调用计数、系统环境

c)用户记忆和知识库

记忆能力评估:三层次框架 基础回忆,多会话检索,主动服务

d)工具的分类

工具文档不是给程序员的注释,是给模型的产品说明书,不能只是留着函数签名和参数

执行工具要做高风险拦截,分层防护策略,审批机制也是Agent输入,比如失败原因

e)Agent的评估

创造一个反思机制来反思Agent的反思,多元异构评估

LLM 的优势是遵循复杂指令,不应该在业务规则制定上被赋予过多自由裁量权。优秀的 Agent 公司里,提示词一般由产品经理设计,工程师负责准确编码。

f)模型后训练

PreTraining,SFT,RL泛化---

-->SFT优化的是像不像标准答案,模型学的是个固定映射,

-->RL泛化:结果好不好,任何拿到高奖励函数都行

-->直觉类比:预训练是"读万卷书"(知识积累),SFT是"老师手把手教标准解法"(模仿示范),RL是"自己下场做题,根据对错反复打磨"(试错提升),不是三选一,是流水线---先读书,再看示范,最后实战。

g)数据与环境:比算法更重要的事

举个例子:语音识别里模型"该不该收话"总在摇摆,根源不在模型结构,而在训练标前是用"上帝视角"标的----把标签改成"只决策当下能拿到的信息",问题就消失了

合理用例顺序:先选强基础模型-->再把环境和数据打磨到位-->最后才在算法和超参进行边际优化

f)Agent持续进化

保存经历不等于从经历中学习,无法生产进行验证,需要在外面搭建一套可测试验证系统,更新载体有4种方式,经验知识库,Promot与Skill,程序与Harness,模型参数

睡眠进程,闲时复用新旧结论,跑回归测试

g)多膜态交互

三种范式:VAD-ASR-LLM-TTS流水线,端对端全模态(Omni,单模型但仍轮流说话),全双工(边听边说),并沿"如何拜托VAD的轮次假设"

机器人操作

h)多Agent操作:

多Agent协作不只是突破单个模型上下文窗口和能力边界工程手段,更可能会超越人类整体一个途径

h.1)上下文共享 h.2)消耗大

i)后记

i.1)发展1---Agent如何流式地,实时地与环境交互

i.2)发展2---Agent如何像人一样,从环境交互地成功与失败中持续积累经验

j)Agent更新:

在底层模型固定时,提升Agent任务表现最主要的系统工程手段,往往是重新定义或扩展观察空间与动作空间

事件驱动Agent:

j.1)语音

语音 级联流水线(Cascading)

端对端全模态模型(Omni)

直接听音频,生成回复并输出语音,但在仍然假设轮流说话,通常还是需要靠VAD划分发言权,与范式一相比较是输入输出由文本换成了语音

全双工交互模型

范式二仍然停留在 "用户说"和 "模型说"的俩个阶段,但同声传译等任务是要求俩者重叠进行。

全双工模型不再预设轮次,而是持续听,持续说,并不断决定持续,停顿,打断或调用工具

语义VAD

边想边说

j.2)Computer Use:GUI自动化Agent

j.2.1)GUI让AI像人类一样通过观察屏幕,操作鼠标键盘来使用软件

k)机器人

长程规划与任务分解

l)Agent评估

能力上限,业务可靠性,过程指标,安全,鲁棒,轨迹覆盖,人工抽检,对抗式评审,自动评估环境,评估任务数据集的设计,分析harness实际行为,均值

m)模型后训练

SFT数据合成:

线上数据-->任务蓝图-->合成任务-->多次筛选轨迹-->任务验证和轨迹验证-->SFT数据

n)Self-Invovle

经验-->知识,经验-->指令,经验-->参数

相关推荐
Rabitebla40 分钟前
【Linux】文件篇(五):手撕简易 FILE——模拟实现 C 标准 I/O 缓冲机制
linux·服务器·c语言·笔记·学习·ubuntu
电科_银尘3 小时前
【大模型算法与工程 27】训练配方:批量、学习率、精度与梯度裁剪
学习·算法·机器学习
fly_sunnn9 小时前
机械狗的前置学习(python与Linux基础操作)
学习
Rabitebla11 小时前
【Linux】文件篇(六):Shell 实战——从系统调用到命令行重定向
linux·服务器·c++·笔记·学习
Star(up up up)12 小时前
MySQL 事务隔离级别是如何实现的?从 MVCC 到锁机制原理详解
笔记·vscode·sql·学习·程序人生·mysql·学习方法
Z21-X1 天前
云原生运维学习笔记:Kubernetes Volume 与 Secret 实验
运维·笔记·学习·云原生·kubernetes
console.log('npc')1 天前
Python 学习教程 · 第4课:数据结构
数据结构·python·学习
星落梦生1 天前
Docker学习(11)
学习·docker·容器
重生之我是萧炎2 天前
PR安装教程,Adobe Premiere Pro安装教程(含安装包),仅供学习使用
学习·adobe