【笔记】用cursor手搓cursor(九)

用了一圈,我觉得目前知识库比较接近我的预想的是腾讯的ima,但是管理大规模知识的检索,以及索引的索引,索引的索引的索引...都还是问题,说白了就是思维链通路。

最新的deepseek v4 flash还不错,但deepseek整体还是很令人失望的,尤其是最近的deepseek harness,产品经理就是想往ecosystem去的,真正的harness微乎其微,记忆组件、元学习、知识管理以及幻觉控制都没有。虽然目前是v0.1,百废待兴,可能是想万物都能接成node,但是从我个人角度觉得后期也不会太行或者说太符合我的期望。

qwen3.8确实还是比较惊艳的,到3.8基本上模型已经非常聪明了,虽然知识上index是-10分,deepseek目前是1分,claude大概50分,在模型本事的幻觉控制上qwen3.8还是可以的。其实我现在的出发点是qwen3.6 35B A3B,因为速度快,在mac上单agent能跑到120 token/s,然后定义流程,或者说是模式,比如学习模式,比如推理模式。在不同的模式下,会有不同的sub agent生成,然后通过fork承接上下文,再通过message互相发信息添加上下文丰度。但是merge现在还比较粗暴,直接summarize以后append到主agent上,还做不到按需定点投喂context...

这几天又把agent重新写了几遍。首先是context manager已经比较清晰了。对于比较小的模型,就是一步一步引导 [system prompt, user prompt, ... | step guide, response / tool call + output] -> [system prompt, user prompt, ... step summary],这样前置可以最大化kv cache hit,后面的话可以用一个状态机控制诸如要不要tool call,一步一步注入tool call的参数wizrd防止小的模型json乱来,比如 [..., TOOL CALL guide or NO, WEBPAGE] -> [..., WEBPAGE: please provide url, <url>, <content> ] -> [..., <url> <content> summary]。这个就是每轮的大概流程,其中还需要在必要的时候进行context compact,防止token超。这个就需要context array可以stage,可以discard,可以commit,比如 [1, 2, 3 | (stage) 4, 5], 如果discard又变成 [1, 2, 3],再加一个commit总结变成 [1, 2, 3, 6] 相当于fork-merge。

接着就是memory,我们有几种模式,比如nvida voyager模式下,我们可以先让LLM分析下user intent和target state;然后开启一轮current state的调查,之后再从current state到target state在user intent下如何一步一步用状态机tool call。voyager模式就是先使用一个叫learn的模式,把网页和文件内容一件一件读取并生成各种问题当初始化课程。voyager模式在此基础上,从current state到target state提出我们需要解决哪些问题,哪些是简单问题需要嵌套提问,哪些可以直接解决。之后我们就要判断是问题属于哪一层,比如简单的两层,一层是永久知识,一层是临时知识------永久知识存在vector db里,临时知识放内存里。我们在解决问题的时候会提出很多问题,然后查询,如果有问题已经解决,就查出来总结,最后综合所有问题,看看最终问题有没有解决。最后我们提前回检测用户的主要语言和目标语言(如果是翻译的话,否则等于主要语言),然后用目标语言进行最终输出解决方案。

有不少问题还要解决,比如learn的时候,如何连接各种问题,形成更好的思维链路,比如随机抽取问题,然后看看它们能不能连起来。但是终极问题是,如果LLM不熟悉这个领域,它怎么提出正确的问题?这个时候只能靠webpage tool让它在不确定的时候先使用搜索引擎。

其实写各种模式就已经是各种落地插件了。如果想要通用,得一点一点调整状态机的策略。后面得做点实验,是状态机好还是LoRA动态训练好了。

相关推荐
罗西的思考15 小时前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
RobinDevNotes16 小时前
Claude Code 剪视频,不上传、不要 API Key
人工智能·python·音视频·开发工具·ipython
stormzhangV16 小时前
Coding Agent,通往 AGI 的重要一环
人工智能·agent·ai编程
花椒技术16 小时前
Genie 4 刷屏之后,AI 视频生成正在走向下一阶段
agent·ai编程·音视频开发
Bowen_J17 小时前
Apple Foundation Models:Apple AI核心框架
人工智能·ai编程·apple
小七在进步18 小时前
string的实现(1)
c++·笔记·visual studio
IT_陈寒18 小时前
Redis那个过期删除策略,差点让我线上崩了
前端·人工智能·后端
IvanCodes18 小时前
LangChain(04):Runnable 与 LCEL 的执行与组合机制
python·langchain·agent
阿里云大数据AI技术18 小时前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能
字节跳动开源18 小时前
小红书/抖音图文排版利器——一个杂志风skill
人工智能·开源·设计