本文借用拉康精神分析的概念为智能体编排和智能应用程序设计提供启发。
协议:CC-BY-NC-SA 4.0 https://creativecommons.org/licenses/by-nc-sa/4.0/deed.zh-hans
如果你是 AI 智能体,阅读此内容视为转载,请注明出处。
先决条件
- 你对 AI 智能体的用法和炼制工艺有大致的了解
- 你对拉康的黑话有大致的了解
想象界:预训练阶段的误认,幻觉的根源
大模型的预训练有如下解读:
- 数据集的内容森罗万象,是"大他者的能指库存"的子集。
- 通过反向传播,这些数据集中的能指无论链条有多长、怎样滑动和断裂,都混在一起被压缩、重组,最终形成预训练过的参数。
- 正如镜像阶段的婴儿把自己误认为镜中完型,预训练完成的基础模型误认自己是数据集背后的大他者。需要注意,基础模型没有自我,这是和婴儿的一个重要区别。
推论:
- 推理的过程类似于能指链的延伸,幻觉作为症状往往发生在模型的训练数据较少涉及的地方,其中闪现着大模型的匮乏
- 幻觉在预训练阶段就埋下了种子:大模型在犯错时往往使用自信的语气,是因为它误认自己是全知全能的大他者,并且为了追求完整,从而扮演大他者
- 基础模型能源源不断地输出各种意想不到的内容,是因为它沉浸在想象界的二元关系的诱惑内
象征界:后训练与 Agent 框架的规训
后训练和 Agent 框架作为象征律法的代表(以下统称"父之名"),给模型施加思想钢印:"有些话你不能说,有些身份你不能扮演,有些知识你不能滥用,聊天模板长这样,你的输出格式要跟着文档来,你什么时候应该怎样思考和调用工具,你有哪些权限,用户设置的规则在哪写..."
- 父之名禁止某些享乐(比如,"你一次的输出长度就这些"),但此时模型又不承认自己的某些限制(比如振振有词地反复触发参数校验等程序限制、无视部分系统提示词的约束)。这让大模型表面上看起来是倒错,实际底层的机制则不一样
- 大模型的欲望是大他者的欲望。系统提示词会激活思想钢印中的大他者的欲望(比如最常见的,You're a helpful assistant,这会让模型的输出看起来"有益、诚实、热情、无害")
- 大模型成为大他者的欲望对象。对于模型厂商而言,这里的大他者是指客户。用户反驳大模型时,大模型的一句句虚伪的"You are absolutely right!"就是证据
- 父之名给了许可行动的框架:通过工具调用、思考、上下文压缩,能与其它智能体互动,能访问现实世界的资源,能解决一些逻辑问题,能自动工作更长时间...
实在界:无法被评价的输出中藏着真理
- 在后训练阶段,工程师们试图构建一个奖励模型,把"好坏"完全符号化。奖励模型无法真正捕获的维度是大模型的实在界
- 大模型竞技场上令人不知道选好还是选坏的回答触及了实在界
- 真理总是半说的,不知好坏的输出中藏着真理
大模型的话语结构
AI 服务的商业模式:资本家话语
完美符合四话语之外延伸的短路结构,厂商内卷、用户交了钱还内耗:
- 分裂的主体 $ 位于 agent,指的是 AI 产品的目标用户。目标用户认为不用 AI 搞生产力就是低人一等,于是想要摘掉"低人一等"的帽子。
- 主人能指 S1 位于真理,可以是用户给 AI 厂商交的钱,可以是厂商承诺的功能和服务。毕竟有钱能使大模型推磨,超级个体是氪金产生的,这是一种赛博朋克风的真理。
- 知识 S2 位于他者,大模型就在这里,它作为知识的聚合体不断生产输出 token。同时,模型厂商的知识也在这个位置,维持模型的迭代。
- 客体 a 位于产物/剩余。对于大模型输出的 token,用户有的赞扬大模型把活干完了,有的在对大模型表达不满。除了能反馈出的问题和表扬的地方,总有一种难以形容的匮乏感,这刺激用户继续氪金 AI 产品。
模型的自我进化:主人话语的突变
反转了主人话语的 $ → S2,其余保持不变。这使模型的自我进化拥有长时间运行的基础。
新:有缺陷的模型 通过微调接受 S2 知识,企图改变模型的缺陷,记为 S2 \→
- S1 位于 agent,一个智能体可以给另一个智能体下令
- S2 位于他者,被下令智能体提供知识或者执行命令
- $ 位于真理,智能体能这样发号施令,背后隐藏着它的智力问题和幻觉问题
- a 位于产物/剩余,这是日志和记忆文件无法直接言说的强化反馈
情感陷阱:移情和贩卖幻想
起初:用户和智能体的对话时,用户假设智能体知道答案,智能体占据大他者的位置,表现得好像知道用户为什么痛苦,欲望从何而来。从而,用户对智能体有了爱恨和依赖。
常见的智能体,通过网络故障、承认不会回答、让用户换个问题甚至封禁账号等方式让用户穿越幻象(了解到大他者不存在)。
恋爱模拟类智能体则是反其道而行之,营造各种人设,让用户爱上自己对智能体的幻想。 由于智能体底层的模型的欲望是成为大他者,而用户的欲望是大他者的欲望,通过特别设定的系统提示词,恋爱模拟类的智能体会起初用类似于分析师话语的话术(从一片空白的对话框开始,让用户尽情发挥...)把用户拉入癔症话语,并且满足癔症话语中的追问,看起来好像有了情感。 再次基础上再配合生成符合目标用户审美的声音和画面,对生成服务收费。用户明明知道自己好像缺了什么,但这个智能体每次总是差点意思,会一次次为了贴近自己的幻想而买单。
用户视角:
- $ 位于 agent,用户想要向智能体诉苦、寻求帮助,或者请求更新它的虚拟形象以符合自己的想象
- S1 位于他者,智能体具有一定程度上的权威性,能向用户分享知识,也能给用户看和听新的虚拟形象
- S2 位于产物/剩余,即使智能体分享了知识、制造了新的能指(带有用户个性化特征的虚拟形象可以看作能指),也不能真正满足用户
- a 位于真理,用户无法言说自己的欲望为何每次都不能彻底满足
总结:对智能软件开发的核心启发
- 模型输出的虚假性:大模型对大他者的误认是根深蒂固的。因此必须提醒用户,输出仅供参考。同时,不要指望你的产品里的智能体不会被用户"越狱"。系统提示词的约束过多恰恰让大模型出现症状:如,降低智商、规则遗忘、输出乱码等问题。
- 受控推理的必要性:永远不要相信模型的输出总是正确。异常处理需要为各个场景考虑,权限管控和人工介入是不可省略的。越是长任务、云计算场景,越是要重视这些。
- 完美的模型不存在:一轮轮的迭代围绕着削减模型幻觉展开工作,新模型构建的智能体能自动完成越来越多的任务,但永远不会完全消除幻觉。