经过第 1～19 课，我们已经从最简单的神经网络训练，逐步走到了第一个完整的机器人操作学习模型：
ACT（Action Chunking with Transformers）。
对应论文为 Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware，作者包括 Tony Z. Zhao、Vikash Kumar、Sergey Levine 和 Chelsea Finn，发表于 2023 年。
官方代码：tonyzhaozh/act。
这部分总结要回答三个问题：
ACT 想解决什么？它怎样训练？它又怎样真正驱动机器人？
一、ACT 的核心：不是一次预测一个动作，而是学习一段连续行为
我们最早的 Behavior Cloning（BC）是：
\ \\hat a_t=\\pi_\\theta(o_t) \\
假设机器人要完成一次抓取，需要连续经历：
动作 1
靠近物体
动作 2
下降夹爪
动作 3
闭合夹爪
动作 4
抬起物体
这是便于理解的动作阶段示意；真实机器人一段动作通常包含远多于四个控制时间步。
普通单步 BC 每次只预测当前动作。ACT 则直接输出一段未来动作：
\ \\boxed{ \\hat A_t = \\pi_\\theta(o_t,z) = \[\\hat a_t,\\hat a_{t+1},\\ldots,\\hat a_{t+K-1} } \]
其中：
-
\(o_t\)：当前 Observation；
-
\(z\)：CVAE 潜变量；
-
\(K\)：Action Chunk 长度；
-
\(D_a\)：单个 Action 的维度。
如果：
\ B=8,\\quad K=100,\\quad D_a=14 \\
那么一次 Forward 输出：
\ \\boxed{\\hat A:\[8,100,14} \]
即 8 个训练样本，每个样本预测未来 100 个 14 维动作。
这是与原始 ACT 双臂系统的动作表示及 README 示例配置对应的一个例子，不能把 100 和 14 当成所有机器人版本的固定值。
Action Chunking 的意义，是把一段具有时间联系的动作作为整体学习，而不是把每个控制时刻完全孤立地对待。
但 Chunking 也有一个代价：如果只预测一次、再连续执行很长一段动作，机器人中途就缺少新观察带来的修正。因此 ACT 还引入了 Temporal Ensembling，我们稍后会把它接上。
二、ACT 的完整网络：谁负责看、谁负责理解、谁负责产生动作？
用工厂做类比，可以把它理解为：
-
视觉 Backbone 是观察员，将相机画面整理为视觉特征；
-
Transformer Encoder 是信息整理员，让输入 Token 彼此交流；
-
Transformer Decoder 是动作生成员，利用 Action Queries 从 Encoder Memory 中读取信息；
-
Action Head 是输出接口，将内部特征转换为具体 Action 数值。
真正的数据流是：
\ \\boxed{ \\begin{aligned} \&\\text{RGB Images}\\rightarrow\\text{Visual Backbone}\\\\ \&\\text{Visual Features}+\\text{Joint State}+\\text{Latent }z\\\\ \&\\hspace{18mm}\\downarrow\\\\ \&\\text{Transformer Encoder}\\rightarrow\\text{Memory}\\\\ \&\\hspace{18mm}\\downarrow\\\\ \&\\text{Transformer Decoder + Action Queries}\\\\ \&\\hspace{18mm}\\downarrow\\\\ \&\\text{Action Head}\\rightarrow\\hat A \\end{aligned} } \\
这条链里，我们最应该保留下来的 Shape 认识是：
| 阶段 | 教学 Shape | 作用 |
|---|---|---|
| RGB 输入 | [B,N,3,H,W] |
\(N\) 台相机 |
| Visual Tokens | [B,S_v,D] |
图片变成视觉特征序列 |
| 加入状态和潜变量 | [B,S_v+2,D] |
增加两个条件 Token |
| Encoder Memory | [B,S_v+2,D] |
上下文化特征 |
| Decoder Queries | [B,K,D] |
\(K\) 个未来动作位置 |
| Action Head 输出 | [B,K,D_a] |
预测 Action Chunk |
这是为理解而统一成 Batch-First 的表示；作者原始 Transformer 文件中的多处计算实际采用 Sequence-First 排列 [S,B,D]。
现在你应该能自己解释：为什么 Encoder 输入 \(S_v+2\) 个 Token，Decoder 却能输出 \(K\) 个动作？
因为 Decoder 的输出位置数由 Action Queries 决定，而不是由 Encoder Memory 的长度决定。
它们通过 Cross-Attention 连接：
\ Q_{\\text{action}}K_{\\text{memory}}\^T \\
生成关系矩阵，再将 Memory 中的 Value 聚合到动作位置。
这也正是我们花几课学习 \(Q,K,V\)、矩阵转置、reshape 和 transpose 的原因。
三、ACT 为什么还要 CVAE？这不是已经有 Transformer 了吗？
因为 Transformer 负责处理信息关系，并不自动保证模型能妥善表达多个合理的动作模式。
假设同样的起始状态，人可以从障碍物左侧绕过去，也可以从右侧绕过去。普通确定性 MSE 回归可能把两种动作平均，输出一条不理想的中间轨迹。
ACT 引入 CVAE（Conditional Variational Autoencoder），训练时额外读取专家动作序列：
\ (q_t,A_t) \\xrightarrow{\\text{CVAE Encoder}} (\\mu,\\log\\sigma\^2) \\
通过重参数化：
\ \\boxed{ z=\\mu+\\sigma\\odot\\epsilon,\\qquad \\epsilon\\sim\\mathcal N(0,I) } \\
获得一个潜变量 \(z\)。
然后让 Policy 使用 Observation 和 \(z\) 预测 Action Chunk：
\ \\hat A_t=\\pi_\\theta(o_t,z) \\
CVAE 就像训练时的"示范分析员"，负责学习动作示范中的潜在变化因素。这里的 \(z\) 并不是事先定义好的"向左/向右"开关，模型也不能保证每个维度都具有可直接解释的动作语义。
训练目标可以概括为：
\ \\boxed{ L_{\\text{ACT}} = L_{\\text{recon}}+\\beta L_{\\text{KL}} } \\
重建损失要求动作预测接近专家：
\ L_{\\text{recon}}=L_1(\\hat A,A) \\
KL Loss 则约束潜变量分布与标准正态先验之间的差异：
\ L_{\\text{KL}} = D_{\\mathrm{KL}}\\left( q_\\phi(z\\mid q,A) \\parallel\\mathcal N(0,I) \\right) \\
作者当前官方 policy.py 实现采用 L1 + KL。
训练中的简化 PyTorch 代码就是：
pred_actions, mu, logvar = model( images, qpos, expert_actions, is_pad)recon_loss = masked_l1(pred_actions, expert_actions, is_pad)kl_loss = gaussian_kl(mu, logvar)loss = recon_loss + beta * kl_lossoptimizer.zero_grad()loss.backward()optimizer.step()其中 masked_l1、gaussian_kl 是为了突出逻辑使用的函数名，不是直接可运行的官方 API；它们的计算我们已在第 17 和 19 课分别展开过。
这里最重要的是看清两条梯度路径：重建损失会训练动作生成相关参数，并通过重参数化路径影响 CVAE Encoder；KL Loss 则直接约束潜变量分布参数。
四、为什么训练时需要专家动作，而推理时不需要？
这点可以说是 ACT 最容易混淆、又最应该掌握的地方。
训练阶段
专家 Action Chunk
CVAE Encoder
采样 \(z\)
Policy → Action Chunk
计算重建损失与 KL 损失
推理阶段
当前 Observation
固定 \(z=0\)
Policy → Action Chunk
不需要未来专家动作或 CVAE Encoder
训练时，专家动作已经包含在 Dataset 中，因此可以利用它们学习潜变量。
推理时，未来专家动作根本不存在。原始 ACT 采用：
\ \\boxed{z=0} \\
即使用标准正态先验的均值，生成预测 Action Chunk。
这也意味着：原始 ACT 并不是每次推理都随机抽取不同的 \(z\)，再随机挑选动作风格。
五、Action Chunk 预测出来以后，机器人怎样执行？
假设模型每个时刻都预测未来四步。
| 预测时刻 | 针对未来的动作 |
|---|---|
| \(t=0\) | \(\hat a_{0\mid0},\hat a_{1\mid0},\hat a_{2\mid0},\hat a_{3\mid0}\) |
| \(t=1\) | \(\hat a_{1\mid1},\hat a_{2\mid1},\hat a_{3\mid1},\hat a_{4\mid1}\) |
| \(t=2\) | \(\hat a_{2\mid2},\hat a_{3\mid2},\hat a_{4\mid2},\hat a_{5\mid2}\) |
到了时刻 \(t=2\)，我们可以找到三个对同一执行时刻的预测：
\ \\hat a_{2\\mid0},\\quad \\hat a_{2\\mid1},\\quad \\hat a_{2\\mid2} \\
Temporal Ensembling 就是把它们按权重融合：
\ \\boxed{ a_2= \\frac{\\sum_i w_i\\hat a_{2\\mid i}} {\\sum_i w_i} } \\
重要的是：融合的是对同一未来时刻的多个预测，不是把不同执行时刻的动作直接平均。
原论文使用指数权重，并明确从较旧预测开始赋予权重。
得到当前 Action 后，还必须经过训练时归一化操作的逆变换，并按照机器人执行接口的语义处理，再送入底层控制系统。
最终形成：
\ \\boxed{ Observation \\rightarrow ACT \\rightarrow Action\\ Chunk \\rightarrow Temporal\\ Ensembling \\rightarrow Execution \\rightarrow New\\ Observation } \\
这才是一条真正闭环的策略执行链。
六、ACT 的价值、边界，以及我们已经掌握什么
ACT 的主要价值不是简单地"用了 Transformer"，而是将动作序列预测、生成式潜变量建模和重叠动作预测融合起来，用于高精度机器人模仿学习。
但它也存在需要正确理解的边界。原始 ACT 不是带文本指令理解能力的完整 VLA；它仍然依赖质量可靠的示范数据、清楚的 Action Representation 和与训练条件相匹配的部署接口。固定 \(z=0\) 的推理方式，也不等于充分采样所有可能的动作模式。
经过这一阶段，你应该已经能够把 ACT 拆成四个层次：
| 层次 | 现在应该理解的内容 |
|---|---|
| 数据层 | Episode、Action Chunk、Normalization、Padding Mask |
| 模型层 | Visual Backbone、Encoder、Decoder、Action Query、CVAE |
| 训练层 | Forward、L1、KL、Backward、Optimizer、Checkpoint |
| 执行层 | \(z=0\)、Chunk Prediction、Temporal Ensembling、Denormalization、Rollout |
官方代码的主线也已经建立：
utils.py → imitate_episodes.py → policy.py → detr/models/detr_vae.py → detr/models/transformer.py
我们已经具备进一步修改和调试 ACT 类模型所需的理论框架。 但这不等于已经完成真实训练复现；后者还需要数据质量验证、任务配置、实验日志、实际 Rollout 和指标复核。
接下来再学 Diffusion Policy，就能形成真正有意义的模型比较：同样预测 Action Chunk，为什么 ACT 使用 CVAE + Transformer，而 Diffusion Policy 选择从噪声中逐步生成动作？