浅窥Claude-Prompting for Agents的Talk

Prompting for Agents

先说一句:颜值这么高,你俩要出道啊。

此图基本就是claude倡导的agent prompt结构了,可以看到经过一年时间的演变,基本都是follow这个结构去写prompt。我比较喜欢用Role→react→task→histroy→few shot→rules/guidelines这个结构

可以根据这个表评估一下,直接丢给AI也可以

目前比较常见的就这几个了吧,做的都比较成熟了,当然啦,还有目前超火的AI scientist

  1. Jeremy觉得prompt是很重要的,prompt作为概念工程就是人在给AI赋予insight。
  2. 去设计agent要以agent的角度去思考,把他当成Intern去教,搜索的时候tool 的使用次数,什么时候停止,要清楚的写出来。
  3. tool selection比较重要, 可能需要你再fewshot和tool description的时候做的比较详细
  4. 另外一个option就是构建好thought,这个可以依赖模型本身提升比如说RL和人工few shot
  5. prompt可能会导致agent无止境的调用tool并且没有答案,所以emm,加点rules吧,这也是为啥RL一定程度上对agent很重要
  6. 控制context也就是chat history怎么弄呢,compress,然后summary,绝大情况下还好,但summary肯定会丢一丢丢细节。我觉得目前agent memory部分的工作需要做的更方便易用一点,同时尽可能保留足够多的细节,同志们还要努力啊。multiagent某种程度上会缓解这个部分问题,其是看任务场景的话,大部分好用的实现都是agent as tools,整体还行。

展示了一个好的tool design的例子,这个确实比我们的做的详细,很多人偷懒不会写那么多parameter进去,但是这个对系统扩展不是很友好,我个人不喜欢这种做法,如果不是官方tool call,就用自然语言去描述就比较方便,anyone can make any tools,当然还有一些工作是让agent自己写tool加进去的,或许有用。。。但是想想就觉得不是很稳定

claude有个模拟器,牛啊,你可以测试并迭代你的prompt,thought什么的都有展示,有点像langsmith。

eval也是比较重要的一环,感觉可以来个综合策略去eval?

  1. 这个就是测试的工作啦,面对极端的case,抗压测测
  2. LLM judge,有点用但不多
  3. 终极解法:转人工。所以human in the loop 是不可或缺的一环。

一些cases,anyway, try you best to eval.

相关推荐
蒋星熠9 小时前
区块链技术探索与应用:从密码学奇迹到产业变革引擎
python·语言模型·web3·去中心化·区块链·密码学·智能合约
樱花的浪漫15 小时前
CUDA的编译与调试
人工智能·深度学习·语言模型·自然语言处理
盼小辉丶17 小时前
Transformer实战(13)——从零开始训练GPT-2语言模型
gpt·深度学习·语言模型·transformer
johnny23318 小时前
大模型安全概述、LlamaFirewall
安全·语言模型
勤劳的进取家21 小时前
论文阅读:Gorilla: Large Language Model Connected with Massive APIs
论文阅读·人工智能·语言模型·自然语言处理·prompt
老鱼说AI1 天前
当自回归模型遇上扩散模型:下一代序列预测模型详解与Pytorch实现
人工智能·pytorch·深度学习·神经网络·语言模型·自然语言处理·stable diffusion
LLM精进之路2 天前
上海AI实验室突破扩散模型!GetMesh融合点云与三平面,重塑3D内容创作
人工智能·深度学习·机器学习·语言模型·transformer
时空无限2 天前
大模型知识点之矩阵乘以向量
线性代数·语言模型·矩阵
时空无限2 天前
为什么矩阵乘以向量要求矩阵列数等于向量维度
机器学习·语言模型·矩阵
AI前沿简报-ALLMHUB2 天前
AI前沿简报20250825——腾讯、阿里IDE迎重大更新,字节跳动首次开源36B大语言模型,快手8B模型刷新记录,马斯克称xAI最大竞争对手是中国公司
人工智能·语言模型·自然语言处理