具身智能的核心组成部分及其作用

**一句话概括：**具身智能不是单一模型，而是一个通过身体与环境持续交互的闭环系统：

感知环境 → 建立状态与世界模型 → 理解目标并规划 → 控制身体执行 → 获取反馈 → 学习与修正。

1. 什么是具身智能？

具身智能（Embodied AI / Embodied Intelligence）是指具有某种"身体"或可作用于环境的载体，能够在真实或仿真环境中进行感知、推理、决策、行动和学习的智能系统。这里的"身体"既可以是人形机器人、机械臂、移动机器人、无人机，也可以是虚拟环境中的智能体。

它与只处理静态文本或图像的系统相比，关键区别在于：

智能体的动作会改变环境；
环境变化又会产生新的感知输入；
系统必须在不确定、动态、实时的条件下持续闭环运行；
认知能力受到身体结构、传感器、执行器、算力、能耗和物理规律的约束。

研究文献对模块划分并不完全统一。经典理论常概括为感知、行动、记忆和学习四个核心要素；从机器人系统工程角度，还需要显式加入世界模型、任务规划、运动控制、安全与人机交互等模块。 $1$

2. 核心组成部分

组成部分	主要内容	核心作用	典型技术
1. 具身载体与执行机构	机器人本体、机械结构、关节、轮式/足式底盘、机械臂、末端执行器、机载计算与能源系统	为智能提供可感知、可行动的物理基础；身体形态决定可执行动作、工作空间、精度、速度、负载和能耗	机器人机构学、驱动器、柔性执行器、边缘计算、嵌入式系统
2. 多模态感知	摄像头、深度相机、激光雷达、麦克风、触觉、力觉、惯性测量、本体传感器及语言输入	把外部环境和身体内部状态转换为可计算的信息，回答"周围有什么、在哪里、正在发生什么、我的身体处于什么状态"	目标检测、语义分割、3D 感知、语音识别、触觉识别、多传感器融合
3. 状态估计、记忆与世界模型	机器人位姿、地图、对象关系、场景状态、历史经验、因果与动态预测	将碎片化观测整合为内部状态；弥补传感器噪声和遮挡；预测"采取某个动作后可能发生什么"，为规划和学习提供依据	SLAM、状态估计、知识图谱、占据地图、场景图、时序记忆、生成式世界模型
4. 目标理解与任务规划	理解自然语言指令、识别用户意图、拆解长任务、排序子目标、选择工具与路径	回答"要完成什么"和"分几步完成"；把抽象目标转化为具备前置条件、约束和终止条件的任务序列	大语言模型、视觉语言模型、符号规划、行为树、任务与运动规划（TAMP）
5. 策略决策与运动控制	动作选择、轨迹生成、抓取姿态、避障、平衡控制、力控制和实时闭环控制	把高层计划变成连续、稳定、可执行的低层控制命令，并根据实时误差不断修正	强化学习、模仿学习、模型预测控制、轨迹优化、逆运动学、全身控制
6. 动作执行与环境交互	导航、抓取、搬运、装配、开门、工具使用、语言交流及多机器人协作	真正改变物理或虚拟环境，是检验感知、规划和控制是否有效的落地点；动作结果同时产生新的观测	操作与导航策略、视觉---语言---动作模型（VLA）、技能库、接触丰富操作
7. 反馈学习、自适应与安全	成功判定、误差分析、奖励/偏好反馈、在线适应、异常检测、碰撞保护、权限和伦理约束	利用行动后果更新知识和策略；适应新对象、新场景和新任务；在失败或风险出现时减速、停止、回退或请求人工介入	模仿学习、强化学习、自监督学习、持续学习、仿真到现实迁移、安全控制、故障诊断

3. 各部分如何形成闭环？

典型信息流如下：

text 复制代码

真实/仿真环境
      ↓ 传感器数据
多模态感知
      ↓ 场景特征与身体状态
状态估计、记忆与世界模型
      ↓ 当前状态、历史上下文与未来预测
目标理解与任务规划
      ↓ 子任务、技能与约束
策略决策与运动控制
      ↓ 关节、速度、力或动作指令
具身载体执行并改变环境
      ↓ 新观测、成功/失败信号、风险信号
反馈学习、自适应与安全
      └──────────→ 更新感知、世界模型、规划与策略

这个闭环通常以不同时间尺度同时运行：

**毫秒至秒级：**姿态稳定、避障、力控制、紧急停止；
**秒至分钟级：**目标识别、技能选择、路径规划、任务执行；
**更长时间尺度：**经验积累、技能学习、模型更新和个性化适应。

PaLM-E 展示了把图像、状态估计等连续传感信息注入语言模型，用于多阶段机器人规划；RT-2 则把机器人动作表示为模型可生成的标记，使视觉、语言理解和动作控制形成端到端闭环。 $2$ $3$

4. 示例：机器人执行"把桌上的红杯放进水槽"

具身载体：移动底盘负责接近桌面，机械臂和夹爪负责抓取。
多模态感知：摄像头识别红杯和水槽；深度传感器估计距离；关节传感器报告机械臂姿态。
世界模型与记忆：建立杯子、桌面、水槽的位置关系，判断路径是否被障碍物遮挡，并记录杯子可能易碎。
任务规划：把指令分解为"定位杯子 → 接近 → 抓取 → 移动到水槽 → 放下 → 验证"。
决策与控制：选择抓取点，生成无碰撞轨迹，并控制夹爪力度。
动作执行：机器人移动、抓取、搬运和放置。
反馈学习与安全：若杯子滑动，视觉和力觉会触发重新抓取；若有人进入运动范围，系统减速或停止；完成后通过视觉确认杯子已在水槽内。

5. 模块化架构与端到端架构

模块化/分层架构

将感知、规划、控制等模块分别设计，再通过明确接口连接。

优点：

可解释、便于调试和安全验证；
单个模块可独立替换；
更容易加入物理约束和规则。

局限：

模块误差会逐级传播；
接口设计可能损失信息；
在开放环境中维护大量规则较困难。

端到端架构

模型直接从图像、语言和状态输入生成动作，例如视觉---语言---动作模型。

优点：

可联合优化感知、语义理解与动作；
能利用大规模多模态预训练获得更强泛化能力；
减少人工定义中间表示。

局限：

数据和算力需求高；
内部决策过程较难解释；
长时任务、精细控制、实时性和安全保障仍需额外机制。

现实系统常采用混合架构：大模型负责语义理解和高层规划，世界模型负责状态与预测，传统控制器或学习策略负责实时运动，安全模块拥有最高优先级。近年来的研究也同时讨论分层决策和端到端 VLA 两种路线。 $3$ $4$

6. 为什么世界模型、记忆和反馈特别重要？

仅依靠当前一帧图像，机器人通常无法可靠完成长时任务。它需要：

记住物体之前出现的位置；
区分暂时遮挡与物体消失；
预测推动、抓取或碰撞的后果；
比较计划结果与真实结果；
在失败后调整策略，而不是机械重复。

世界模型提供环境的内部表示和未来预测能力，物理仿真器则提供可控、低风险的训练和评测环境。两者结合有助于提高自主性、适应性、泛化能力以及仿真到现实迁移效果。 $4$ $5$

7. 安全与人机交互为何是贯穿式能力？

具身系统会直接影响真实世界，因此安全不能只作为最后一步检查，而应覆盖完整链路：

**感知安全：**检测传感器失效、遮挡、伪影和错误识别；
**规划安全：**禁止进入危险区域，检查任务是否违反约束；
**控制安全：**限制速度、力、关节范围和碰撞风险；
**交互安全：**理解人的指令、拒绝危险操作、处理模糊指令；
**系统安全：**故障降级、急停、日志追踪、权限控制和人工接管。

最新安全综述通常沿着感知、认知、规划、行动、交互及系统级代理链路分析风险，说明安全是横跨所有模块的系统属性，而不是单独的插件。 $6$

8. 总结

具身智能的本质可以归纳为三个关键词：

身体性：智能受身体结构、传感器、执行器和物理规律约束；
闭环性：感知与行动不断循环，动作会改变下一次感知；
学习性：系统从交互结果中更新记忆、世界模型和策略。

工程上可以把它理解为：

具身智能 = 具身载体 × 多模态感知 × 世界模型/记忆 × 规划决策 × 运动控制 × 动作交互 × 反馈学习与安全

其中任何一环明显薄弱，都可能导致系统在开放、动态的真实环境中失效。

参考资料

G. Paolo, J. Gonzalez-Billandon, B. Kégl, A Call for Embodied AI , arXiv:2402.03824.
https://arxiv.org/abs/2402.03824
D. Driess et al., PaLM-E: An Embodied Multimodal Language Model .
https://palm-e.github.io/
A. Brohan et al., RT-2: Vision-Language-Action Models .
https://robotics-transformer2.github.io/
W. Liang et al., Large Model Empowered Embodied AI: A Survey on Decision-Making and Embodied Learning , arXiv:2508.10399.
https://arxiv.org/abs/2508.10399
X. Long et al., Learning Embodied Intelligence from Physical Simulators and World Models , arXiv:2507.00917.
https://arxiv.org/abs/2507.00917
X. Li et al., Safety in Embodied AI: A Survey of Risks, Attacks, and Defenses , arXiv:2605.02900.
https://arxiv.org/abs/2605.02900