人机智能体合作:承诺理论考虑

摘要:

基于智能体的系统比我们想象的更为普遍。从承诺理论的视角来看,人机混合智能体系统中的合作,可以从自主智能体的抽象属性出发,为半自动化环境下的组织与功能设计提供统一视角。

这一视角适用于人类劳动、硬件系统、软件以及人工智能------无论是否有管理介入。人们可能会问:一个由多个组件构成的推理系统,如何保持其行动符合既定目标?

随着智能体范式如今因人工智能智能体的兴起而再次复兴,我将重新审视关于智能体合作的一些成熟原则,这些原则适用于人类、机器以及它们之间的相互交互。承诺理论揭示了智能体之间在信号传递、理解、信任、风险以及反馈等方面的基本机制,并为成功与失败提供了一些经验教训。

引言

自主性是任何运行实体(无论是人还是机器)的基本状态。矛盾的是,在技术领域,这却是一个非传统的观念------技术历来更关注完全被支配或"被管理"的设备,受控于"命令与控制"的范式。这种理想化的控制观念长期被视为一个由缓慢变化、自我调节的系统所构成的世界中天然的"秩序力量"。然而,在今天,当我们面对跨越不同时空尺度、使得直接命令无法实现的众多方法时,这种观念已显得捉襟见肘。

承诺理论于2004年被提出,旨在将自主性作为软件"机器人"系统(特别是CFEngine)中的一个基本视角。它是对多智能体分布式系统领域进展缓慢的回应------该领域曾普遍采用道义逻辑推理和控制理论作为控制论模型的框架。自主智能体与远程控制的傀儡实体有着显著不同:它们必须独立应对各种场景,本质上是非确定性的,并且需要更全面的规范来约束其行为。承诺理论正是试图解决这些问题。

试图将道义义务逻辑与控制理论的思想结合起来,导致了对行为的远程命令模型不切实际,无法扩展到简单的状态控制器之外。自主智能体CFEngine(1993年诞生)作为数据中心管理引擎在全球范围内的部署,成为一个分水岭事件,证明了自主智能体确实是可行的,并且可以在遵循某些自我维护策略的前提下大规模运行。CFEngine采用自主智能体,并从自主智能体单独或成群工作时所受的限制及其所具备的能力出发,为承诺理论奠定了基础。

自主智能体与完全从属、远程控制的自动机不同------因为当多个智能体之间出现冲突时,不能简单地靠提高音量来解决问题。自主智能体不必被迫关注什么;它们必须有能力根据自己的意志去适应环境条件,形成结构(如群体),并通过提供与规避之间的平衡来解决挑战。

关于合作的基本理论,在文献中已有详细阐述。然而,由于那是在当前这一波与人工智能相关的智能体语言模型兴起之前很久的事了,因此有必要重新审视并更新承诺理论的基本发现,使其作为战略与治理的指导。近来,随着人工智能(尤其是语言模型)以及机器人技术的发展,承诺理论重新引起了人们的兴趣,因为它已经阐述了许多开发者在部署系统时遇到的难题。在这里,我将尽量以一般性的方式呈现这些结论,而不涉及具体的实现细节。

承诺理论所强调的是:只要能诚实地刻画功能角色,那么功能角色本身就比技术意志更为重要。角色不过是对特定承诺的表达,而承诺本质上是一种意图的宣告,包含两个方面:承诺什么(质性的或语义的问题),以及承诺多少、以何种频率兑现(量性的或动态的问题)。

本文的结构如下:在简要回顾承诺理论的基本思想和符号之后,我将讨论自主智能体之间自愿合作与从属的概念,以及至关重要的"下游原则"。接着,我们探讨共享的语言语义为何是独立智能体之间传递意图的前提条件,以及仅此一个问题就会给人类和机器带来怎样的显著不确定性。然后,讨论动态的量性问题------信任及其与智能体风险偏好的关系。最后,我将把上述要点整合起来,描述为实现集体行动而进行合作的目标与陷阱,并解释不动点在定义理想化吸引子状态中的作用。

相关推荐
Lsland..几秒前
AI Agent到底是什么
java·人工智能·llm
Akamai中国几秒前
针对 Akamai Cloud 上的 NVIDIA RTX Pro 6000 Blackwell 进行基准测试
人工智能·云计算·gpu算力·云服务
code 小楊1 分钟前
AI Agent 进阶范式 Plan-and-Execute 深度详解:原理、架构、实战与工程落地
人工智能·架构
ai产品老杨2 分钟前
解耦视频流利器:如何利用 GB28181 与 RTSP 协议统一收敛多厂商设备?一套支持 Docker 部署与源码交付的边缘计算 AI 视频中台深度解析
人工智能·docker·边缘计算
Lsland..3 分钟前
MCP协议AI时代的HTTP
人工智能·网络协议·http
谷哥的小弟5 分钟前
大模型核心基础知识(12)—机器学习的基本概念与常见方法
人工智能·深度学习·机器学习·大模型·大语言模型
csdnor_016 分钟前
Codex Desktop App 使用 Ollama 本地模型技术方案
人工智能·免费·codex·ollama
_Oracle9 分钟前
机器学习——绪论
人工智能·机器学习
mit6.8241 小时前
AI时代下的TypeScript
人工智能
sulikey1 小时前
大模型是如何工作的
人工智能