浅窥Claude-Prompting for Agents的Talk

Prompting for Agents

先说一句:颜值这么高,你俩要出道啊。

此图基本就是claude倡导的agent prompt结构了,可以看到经过一年时间的演变,基本都是follow这个结构去写prompt。我比较喜欢用Role→react→task→histroy→few shot→rules/guidelines这个结构

可以根据这个表评估一下,直接丢给AI也可以

目前比较常见的就这几个了吧,做的都比较成熟了,当然啦,还有目前超火的AI scientist

  1. Jeremy觉得prompt是很重要的,prompt作为概念工程就是人在给AI赋予insight。
  2. 去设计agent要以agent的角度去思考,把他当成Intern去教,搜索的时候tool 的使用次数,什么时候停止,要清楚的写出来。
  3. tool selection比较重要, 可能需要你再fewshot和tool description的时候做的比较详细
  4. 另外一个option就是构建好thought,这个可以依赖模型本身提升比如说RL和人工few shot
  5. prompt可能会导致agent无止境的调用tool并且没有答案,所以emm,加点rules吧,这也是为啥RL一定程度上对agent很重要
  6. 控制context也就是chat history怎么弄呢,compress,然后summary,绝大情况下还好,但summary肯定会丢一丢丢细节。我觉得目前agent memory部分的工作需要做的更方便易用一点,同时尽可能保留足够多的细节,同志们还要努力啊。multiagent某种程度上会缓解这个部分问题,其是看任务场景的话,大部分好用的实现都是agent as tools,整体还行。

展示了一个好的tool design的例子,这个确实比我们的做的详细,很多人偷懒不会写那么多parameter进去,但是这个对系统扩展不是很友好,我个人不喜欢这种做法,如果不是官方tool call,就用自然语言去描述就比较方便,anyone can make any tools,当然还有一些工作是让agent自己写tool加进去的,或许有用。。。但是想想就觉得不是很稳定

claude有个模拟器,牛啊,你可以测试并迭代你的prompt,thought什么的都有展示,有点像langsmith。

eval也是比较重要的一环,感觉可以来个综合策略去eval?

  1. 这个就是测试的工作啦,面对极端的case,抗压测测
  2. LLM judge,有点用但不多
  3. 终极解法:转人工。所以human in the loop 是不可或缺的一环。

一些cases,anyway, try you best to eval.

相关推荐
Dawson Zhu4 小时前
【模型量化⑦】W4A8与GPTQ-Int4:极限压缩与MLC-LLM部署实战
人工智能·语言模型·架构·aigc·agi
Dawson Zhu21 小时前
【模型量化⑤】Weight-Only INT4:AWQ与GPTQ两大算法深度解析
人工智能·语言模型·架构·aigc·agi
澹锦汐1 天前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
一起学安全技术3 天前
拆大模型 11|大模型面试拷问:12 问逐层拆
人工智能·ai·语言模型·面试·职场和发展·求职招聘
学无止境小袁同学4 天前
LangGraph 深度指南
语言模型·框架·agent·并发·上下文·langgraph·长期记忆
一起学安全技术4 天前
拆大模型 10|结构化输出:让模型返回数据,而不是一段话
人工智能·语言模型·json
Dawson Zhu6 天前
【分布式训练⑧】通信优化:NCCL、Ring AllReduce与计算通信重叠
人工智能·语言模型·架构·aigc·agi
Dawson Zhu8 天前
【分布式训练④】张量并行与序列并行:把单层参数切碎分到多张卡
人工智能·语言模型·架构·aigc·agi
如夏倾城8 天前
百度文心(容易被忽略的好用AI)使用方式
人工智能·python·百度·语言模型·dubbo
xiaoye-duck8 天前
《C++ 项目:手写大模型接入 SDK》会话模块整合:内存 SessionManager 与 DataManager 持久化联动
开发语言·数据库·c++·语言模型