机器人强化学习系列第 1 篇 · 从"建模难"到"试错学"
开篇：六十年了，机器人为什么还没走进我们的世界？
1961 年，Unimate 走进通用汽车的生产线，成为第一台工业机器人。六十多年过去，机器人在焊接、喷涂、码垛这些结构化 场景里早已炉火纯青，却依然没能真正融入人类所处的非结构化、动态世界------那个有褶皱的衣物、有滑动的杯子、有光照变化和意外碰撞的世界。
问题出在哪？
教程的作者给出了一个清晰的立场：现代机器学习可以在自主机器人的发展中扮演关键角色。但这句话要成立，前提是先说清楚------传统方法到底卡在了哪里。本文将传统动力学方法的困境归纳为四个"问题"，正是这四个问题，把机器人学习推向了强化学习（RL）这条"试错"之路。
局限一：集成挑战------一条固定的流水线，错误会层层累积
传统机器人管线是顺序工程 的产物：感知 → 状态估计 → 规划 →（微分）逆运动学 → 底层控制，每个模块为特定目的单独开发，模块之间用固定接口连接。
图 1：传统机器人管线------感知、状态估计、规划、控制串行连接，任一环节出错都会向下游传播
这条流水线的问题不在于某个模块不够强，而在于接口是固定的、错误是累积的 。光照一变，感知输出漂移；传感器被遮挡，状态估计失效；一个环节的微小误差会沿着管线放大，最终表现为控制的失败。更麻烦的是，把这样一套栈迁移到新任务或新机器人上，往往要在多个阶段重新指定目标、约束和启发式规则，工程开销巨大。
传统规划器还依赖紧凑的、被假定"足够充分"的状态表示。想让它直接处理原始、异构、带噪声的数据流（RGB、深度、触觉、音频），并非易事------过去需要大量人工工程来提取特征。任务一多，每个任务一套规划器、一套目标参数化、一套安全约束，设计和验证选项爆炸式增长，而解决方案几乎无法跨任务复用。
局限二：多模态挑战------高维、异构、带噪声的感官数据，传统方法接不住
机器人的感官输入天生是多模态 的：关节编码器给出低维高频的本体感受，相机给出高维的图像流，深度传感器、陀螺仪、麦克风各自有不同的采样率和噪声特性。
图 2：多模态挑战------gyro、depth、image 三类原始数据，传统管线需要为每一类单独设计特征提取与处理流程
传统方法处理这类数据的典型做法是"先人工提特征，再喂给控制器 "：陀螺仪原始读数要滤波、标定、积分；深度图要转点云、做分割；图像要手工设计描述子。每一步都是领域专家的手工活，每一步都可能丢失对控制有用的信息，而且换一个传感器、换一个场景，整条特征工程链就要重做。
这正是学习式方法的机会所在：现代学习系统具备自动特征提取能力，可以把多种模态统一映射到对控制有用的表示，而不需要为每一种传感器手写一套处理管线。
局限三：欠建模局限------接触、摩擦、柔性物体，方程写不准
这是四个局限里最"物理"、也最难绕开的一个。
传统动力学方法的前提是：你有一个足够精确的世界模型。刚体动力学、接触模型、摩擦模型、柔顺性------把这些写进方程，再求解控制。但现实是：
-
刚体近似在柔性物体面前失效：叠一件衣服、拧一条毛巾，物体本身在持续变形，刚体假设从根上就不成立；
-
接触与摩擦难以精确建模：接触是高度非光滑的，摩擦系数随表面、温度、磨损变化，抓取还会引入耦合；
-
参数失配会定性改变动力学 ：在复杂、时变、非线性的动力学中，即便参数只有中等程度的失配、存在未建模的演化或抓取诱导的耦合，观测到的动力学也可能发生质变 ------不是误差大一点，而是行为完全变了。
图 3：欠建模问题------一个操作任务中的摩擦模型，参数繁多且难以精确辨识，任何一处失配都可能定性改变观测到的动力学
结果是：依赖近似模型的传统方法，在真实世界的适用性被严重限制。而学习式方法可以完全绕开显式建模，只依赖交互数据------当动力学难以建模或完全未知时，这一点是变革性的。
局限四：忽视开放数据的增长------别人在积累数据，传统方法用不上
过去几年，机器人数据正在经历一场静悄悄的革命：大型集中式团队在策展学术数据集（Open X-Embodiment、DROID），与此同时，分散的、由不同背景的个人贡献的数据集 也在快速增长。软件工具（如 lerobot）让分散采集和大规模共享变得前所未有地容易。
图 4：开放数据的增长------左：开放数据集数量随时间快速上升；右：学术数据集规模对比，AgileWorld 等已迈入百万轨迹量级
这正是当年视觉和自然语言理解发生跃迁的路径：数据是规模化的基石。ImageNet 之于视觉、互联网文本之于 NLP，都是"数据到位之后，能力随之爆发"。
而传统动力学方法，天然无法从这一趋势中获益。它不消费数据，它消费模型。当社区的数据以百万条轨迹的量级积累时，传统管线只能旁观------它没有被设计成"数据越多、性能越好"的形态。
四个局限，指向同一个方向
把四个局限放在一起看，它们指向的诉求非常一致：
-
更紧密地集成感知与控制（对应局限一）；
-
减少专家建模干预，跨任务、跨本体自适应（对应局限二、三）；
-
随数据增长而优雅扩展性能（对应局限四）。
学习式机器人------(1) 统一的感知到动作控制器，(2) 直接处理高维非结构化感官信息，(3) 不依赖动力学模型而聚焦交互数据，(4) 性能随数据规模增长
学习式方法恰好逐条回应了这些诉求：
- 端到端的感知到动作（perception-to-action）：一个统一的策略网络直接从感官输入映射到动作，不再需要拼接多个固定接口的模块，从结构上消除了"接口误差累积"；
- 自动特征提取：高维、非结构化的多模态输入被统一处理，不再为每种传感器手写特征；
- 不依赖动力学模型：绕过接触、摩擦、柔性的建模难题，只学"交互数据里发生了什么"；
- 数据规模驱动：经验上，性能随数据量增长而提升------这正是传统方法用不上的那部分红利。
但"试错"不是免费的
讲到这里，强化学习的动机已经很清楚了：它把"解方程"变成了"试错学"。机器人控制问题天生是交互式、序列化的，可以直接 cast 成 RL 问题------这正是 RL 与机器人学的关系常被类比为"数学与物理"的原因。
但必须提前说清楚：试错是有代价的。在真实硬件上，早期探索可能命令出高速度、自碰撞构型或超限力矩，带来磨损甚至硬件损坏； episodic 训练需要反复人工重置环境；样本效率问题让真实训练的时间尺度变得昂贵。这些正是后续几篇文章要展开的内容------RL 怎么形式化、真实世界怎么把它跑起来、它的边界又在哪里。
下一篇预告
四个问题讲完了"为什么"，但"试错学习"到底怎么形式化？一个状态、一个动作、一个奖励，如何组成可优化的目标？
参考来源：Robot Learning Tutorial, Section 2 "Classical Robotics"（2.1--2.4）与 Section 3 开篇；Figure 8、Figure 9；Sutton & Barto (2018)；Kober et al.；O'Neill et al. (2025)；Khazatsky et al. (2025)。