模块 4：AI 策略驱动机器人运动
第一章：观测空间与状态量
第二章：AI指令驱动T800机器人的"肌肉运动"
第三章"实战案例
提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档
文章目录
前言
在上一课《AI策略生成关节运动指令》中，我们探讨了强化学习中的动作空间（Action Space），即AI策略网络输出什么指令来驱动机器人。然而，要让一个AI策略真正具备智能，仅仅知道输出什么是远远不够的。正如人类在执行动作前需要依靠视觉、前庭觉和本体感觉来感知自身状态，AI策略也需要一个明确的输入端口来看到当前环境。这就是本节课的核心------观测空间（Observation Space）。它是强化学习策略网络的输入向量，决定了AI在每一步决策时能够获取哪些信息。
本文将从观测空间的定义出发，系统梳理T800人形机器人观测空间所包含的核心状态量，并深入讲解AI指令如何通过动作缩放、默认姿态叠加和PD控制器，最终转化为驱动关节运动的真实力矩。同时，我们还会通过一个最小化的MNN推理实战案例，演示如何让训练好的策略网络控制T800机器人向前行走，并探讨当机器人运动出现异常时，如何借助日志数据精准定位问题。希望通过这篇文章，你能完整理解从AI决策到物理执行的全链路，为后续更复杂的机器人控制任务打下坚实基础。
第一章：观测空间与状态量
在强化学习的智能体-环境交互循环中，智能体（Agent）通过观测（Observation）感知环境状态，基于此输出动作（Action），随后环境返回奖励（Reward）并更新状态。观测空间正是这一循环的起点，它严格定义了策略网络输入向量的维度、数据类型及物理含义。
与动作空间形成鲜明对比，动作空间决定了策略的输出能力（例如T800的关节目标位置），而观测空间则决定了策略的感知边界。如果观测空间设计不当，例如缺少了关键的躯干倾斜信息，AI策略将永远无法学会保持平衡；反之，如果塞入了过多无关信息，不仅会增加网络训练的难度，还可能导致策略过拟合。因此，观测空间是连接物理仿真与AI算法的桥梁。
1.1T800观测空间通常包含的状态量
上节课，我们知道模型输入需要1083个参数，这1083个参数是什么呢。结合MuJoCo物理引擎中data对象的状态参数，T800人形机器人的观测空间通常由以下几类核心状态量拼接而成：
|-----------|-----------------|--------------------|
| 状态量类别 | MuJoCo对应字段 | 在AI策略中的作用 |
| 关节位置 | data.qpos | 提供本体感知，是位置闭环控制的基础 |
| 关节速度 | data.qvel | 提供动态反馈(相当于阻尼)，抑制震荡 |
| 根节点位姿 | data.qpos:7 | 判断是否摔倒、朝向及绝对高度 |
| 根节点速度 | data.qvel:6 | 反映躯干运动趋势，维持动态平衡 |
| 上一时刻动作 | last_action | 提供动作连续性，避免指令突变 |
| 任务目标/误差 | 自定义变量 | 引导AI向任务目标收敛 |
这些状态量共同构成了一个多维向量，确保AI既能感知局部的关节状态，又能掌握全局的躯干姿态。
举个例子，大家观察这张照片，假设这是一个机器人，你可以得到他在这一帧画面中的关节位置（22个值），关节速度（22个值），上一帧的关节指令（22个值），身体角速度（3个值），重力方向（3个值），总计72个数。但是仅根据这72个数是不足以预测下一帧的动作的。
要想实现对机器人动作的预测，就需要一个记忆库。十五帧数据，15*72=1080维数据，距离1083还差3维数据，最后的3维则是由用户命令提供的控制信息，期望机器人执行的动作。
**第二章：**AI指令驱动T800机器人的"肌肉运动"
在前面的课程里，我们已经分别打通了动作空间与观测空间，让AI策略学会了输出"关节运动指令"，又为策略搭好了感知环境的状态输入。但到这里，指令仍然只是一串停留在策略网络输出层的浮点数，机器人并不会因为策略"想"动就真的动。这章要解决的核心问题，就是把AI吐出的一维动作向量，一路翻译成作用在每一个关节上的真实力矩------也就是让机器人的"肌肉"真正收缩、发力、带动全身运动。可以说，本章内容是衔接"AI决策"与"物理世界"的关键一环，也是强化学习能够真正落地到机器人控制上的桥梁。
2.1从"关节指令"到"肌肉收缩"：动作执行的完整链路
在MuJoCo的具身智能框架里，机器人并不直接听命于AI，AI也不直接控制电机的电流。二者之间隔着一套清晰的分层：策略网络输出归一化的动作向量，控制层把它放大、叠加成每个关节的期望目标位置target_qpos，PD控制器再依据"目标与当前状态的偏差"换算成控制力矩，最后由执行器（actuator）把力矩施加到对应关节上，物理引擎推进一步，机器人随之改变姿态。这套"动作→目标→力矩→执行→状态更新"的链路，正是本章要讲透的主线。理解了这条链路，才能真正明白为什么强化学习训练时只需喂给策略观测、只需让它输出动作，剩下的"发力细节"都能交给仿真器去还原。
AI策略输出的并不是直接的力矩，也不是直接的关节角，而是一个通常在-1, 1之间的归一化动作。这个动作必须经过两步"翻译"，才能变成PD控制器能够使用的目标位置target_qpos：第一步是动作缩放，第二步是围绕默认姿态的偏移叠加。
2.1.1动作缩放：把归一化动作还原成关节偏移
策略输出之所以被约束在-1, 1，是为了让神经网络的输出层更稳定、更容易收敛。但在真实关节上，-1到1这个区间并没有物理含义，必须乘以一个"动作缩放系数"（action_scale）才能映射到合理的角度范围。缩放系数取得过大，策略稍微一输出，机器人就会像抽筋一样剧烈抖动甚至被甩飞；取得过小，动作又过于迟缓，学不出有效的步态。因此在调试阶段，action_scale是一个必须结合机器人质量、关节力矩上限反复试探的关键超参数，通常先取一个保守的小值保证不炸机，再随训练逐步放大。举例说明，当电机关节的运动范围为0,3.14(弧度制)，default_qpos = 1.57 rad是机器人稳定站姿时电机的位置。 ，
是神经网络输出的值，范围-1,1，根据公式，当
，
，当
，
满足电机的运动范围。
2.2.2围绕默认姿态叠加，得到target_qpos
缩放后的动作并不是绝对角度，而是相对"默认站立姿态"的增量。也就是说，target_qpos = default_qpos + action * action_scale。以默认姿态为基准的好处是：策略只需要学习"在正常站姿基础上做多少调整"，学习难度大幅降低；即便策略初期输出接近0，机器人也会保持一个自然的站姿而不是扭曲成一团。这种"残差式"的动作设计，在人形机器人行走策略里被广泛采用，它把绝对控制的难题转化成了增量控制的简单问题。
2.1.3PD控制器与执行器：机器人真正的"肌肉"
拿到target_qpos后，PD控制器按照 力矩 = Kp*(target_qpos - qpos) - Kd*qvel 计算每个关节需要输出的力矩：位置误差越大、力矩越大，速度越快、阻尼越强，这正是机器人动作既"够劲"又"不发散"的原因。而真正把这些计算出来的控制量变成物理力的，是MuJoCo里的执行器（actuator）------它就是我们所说的机器人的"肌肉"。执行器带有ctrlrange力矩上下限，对应真实电机的输出能力：无论PD算出多大的力矩，都会被裁剪进这个范围，既保证仿真实、也避免策略学出真机上根本执行不了的"超能力"动作，为后续的Sim-to-Real打下基础。
第三章：实战案例
提示语：参考demo.py代码给我编写一个脚本叫15.T800_mnn.py，利用神经网络mnn模型进行推理，控制机器人向前行走。最小化的代码，方便理解。
"""
15_T800_mnn.py (最小教学版)
用 MNN 神经网络策略控制 T800 机器人向前走
核心流程:
加载 MuJoCo 模型 + MNN 策略网络
循环: 构造 obs -> MNN 推理得到 action -> 写入 ctrl -> mj_step
注意:
本脚本为教学版, obs 用零向量 + 前进指令填充 (真实部署需完整构造 obs)
action 22 维, 直接写入前 22 个 ctrl, 剩 3 个补 0 (真实部署需做正确映射)
模型已训练好, 放在 policy/ 目录下
运行: D:/miniconda3/envs/t800/python.exe 15_T800_mnn.py
"""
import numpy as np
import mujoco
import mujoco.viewer
from pathlib import Path
====== 1. 路径与常量 ======
ROOT = Path(file).resolve().parent
POLICY_FILE = ROOT / "policy" / "t800_260318_150533_60000.mnn"
OBS_SIZE = 1083 # 观测向量维度: 72 * 15 (历史) + 3 (速度指令)
ACTION_SIZE = 22 # 策略输出动作维度
CMD_VX = 1.0 # 前进速度指令 (m/s), 正值=前进
====== 2. 加载 MuJoCo 模型 ======
model = mujoco.MjModel.from_xml_path("t800.xml")
data = mujoco.MjData(model)
mujoco.mj_forward(model, data)
====== 3. 加载 MNN 策略网络 ======
import MNN # type: ignore
net = MNN.Interpreter(str(POLICY_FILE))
session = net.createSession()
input_tensor = net.getSessionInput(session)
output_tensor = net.getSessionOutput(session)
def infer(obs):
"""一次 MNN 推理: obs (1083,) -> action (22,)"""
obs = np.asarray(obs, dtype=np.float32).reshape(1, -1)
host_in = MNN.Tensor(
input_tensor.getShape(),
MNN.Halide_Type_Float,
obs,
MNN.Tensor_DimensionType_Caffe,
)
input_tensor.copyFrom(host_in)
net.runSession(session)
out_shape = output_tensor.getShape()
host_out = MNN.Tensor(
out_shape,
MNN.Halide_Type_Float,
np.zeros(out_shape, dtype=np.float32),
MNN.Tensor_DimensionType_Caffe,
)
output_tensor.copyToHostTensor(host_out)
return np.asarray(host_out.getData(), dtype=np.float32).reshape(-1)
====== 4. 主循环: 推理 + 控制 ======
print(f"OBS_SIZE={OBS_SIZE}, ACTION_SIZE={ACTION_SIZE}, CMD_VX={CMD_VX} m/s")
print("-" * 50)
with mujoco.viewer.launch_passive(model, data) as viewer:
while viewer.is_running():
# --- 4.1 构造 obs (教学版: 零向量 + 末尾 3 维填速度指令) ---
obs = np.zeros(OBS_SIZE, dtype=np.float32)
obs[-3] = CMD_VX # vx 指令 (向前)
obs[-2] = 0.0 # vy 指令 (侧向, 0=直行)
obs[-1] = 0.0 # vyaw 指令 (转向, 0=不转)
# --- 4.2 MNN 推理 ---
action = infer(obs) # shape (22,)
# --- 4.3 写入 ctrl (22 维直接填, 剩 3 个补 0) ---
# 注意: MuJoCo 的 ctrllimited=true 会自动按 ctrlrange 截断
data.ctrl[:ACTION_SIZE] = action
data.ctrl[ACTION_SIZE:] = 0.0
# --- 4.4 推进仿真 ---
mujoco.mj_step(model, data)
# --- 4.5 每 2 秒打印一次前进进度 ---
if int(data.time * 100) % 200 == 0:
print(f"t={data.time:5.1f}s | x={data.xpos[1][0]:+.2f}m | "
f"action[:3]={action[:3].round(3).tolist()}")
viewer.sync()
print("-" * 50)
print("仿真结束")
运行生成的代码发现与我们期望的不同，需要修改。现在遇到的问题是，机器人的运动状态我们没法精准描述给ai，不像写代码输出的内容是文字或图片，我们可以清楚描述问题，对于这种机器人故障，我们怎么精确将问题描述给ai呢？聪明的你应该想到了利用日志，我们可以将机器人运动时关节产生的数据打印出来，将日志提交给ai，他就能精准识别问题所在。
总结
本文围绕AI策略驱动机器人运动这一主题，系统梳理了从观测空间到物理执行的全链路。我们首先明确了观测空间（Observation Space）作为策略网络输入端口的重要性，详细拆解了T800人形机器人观测空间所包含的关节位置、关节速度、根节点位姿、根节点速度、上一时刻动作以及任务目标等核心状态量，并解释了1083维输入向量是如何由15帧历史数据（15×72）与3维用户速度指令拼接而成。
随后，我们深入讲解了AI指令驱动T800机器人运动的完整链路：策略网络输出的归一化动作，经过动作缩放（action_scale）与默认姿态叠加，得到每个关节的期望目标位置target_qpos，再由PD控制器依据目标与当前状态的偏差换算成控制力矩，最终通过执行器（actuator）施加到关节上，完成从AI决策到物理动作的转化。这一过程中，动作缩放系数、残差式动作设计以及执行器的力矩上下限，都是保证机器人稳定运动的关键。
最后，通过一个最小化的MNN推理实战案例，我们演示了如何加载训练好的策略网络控制T800机器人向前行走，并探讨了当机器人运动出现异常时，如何借助日志数据将关节运动状态精准描述给AI，从而定位问题所在。希望本文能帮助你完整理解从AI决策到物理执行的全链路，为后续更复杂的机器人控制任务打下坚实基础。