2025 年，阿里云人工智能平台 PAI 与 NVIDIA 达成 Physical AI 领域的产品合作，在 PAI 平台中集成了一系列 Physical AI 工具链，覆盖数据采集、数据合成、模仿学习、在线测评等多个开发环节。我们曾分 5 期详细介绍过这 5 个最佳实践。发布半年以来，我们收到不少客户的反馈，尤其集中在以下几方面：
🤖 除了模仿学习，是否还有开箱即用的强化学习方案？
🤖 Physical AI 仿真是否必须依赖 GU8IS、GU8V 等特定机型？
🤖 软件在环验证的场景搭建是否能进一步简化？
今年，阿里云 PAI 与 NVIDIA 团队一起，针对上述问题进行了方案更新，已经以最佳实践的方式上线。
新方案 1：Isaac Lab 分布式感知强化学习
🔗 方案链接： https://gallery.pai-ml.com/#/preview/deepLearning/cv/isaac_rl_exp
传统的机器人强化学习范式，往往局限于"本体感知"(Proprioception）------即依赖关节角度、力矩反馈等内部状态来学习灵巧的运动技能。然而，随着技术的不断进步，新一代机器人智能体开始将包括 RGB 图像、深度图像、语义分割等多模态感知输入直接纳入强化学习策略闭环。这一趋势在近期兴起的 VLA 模型的强化学习探索中尤为显著。
然而，这一技术演进带来的直接挑战是计算规模的指数级上升。在强化学习训练中，为了获取足够的样本多样性以保障策略的泛化能力，我们通常需要并行运行成百上千个仿真环境，每一个并行环境不仅都需要独立的相机渲染管线，还伴随着高维视觉数据的实时处理与策略网络的前向和反向传播计算。当感知输入成为标配，GPU 的渲染负载与计算负载都将显著提升。渲染与计算的协同瓶颈已成为制约感知强化学习效率的核心挑战。
Isaac Lab 提供了 TiledCamera 技术，大大降低了感知数据计算所需的计算资源，同时原生支持 PyTorch 分布式执行，使分布式感知强化学习成为可能。
TiledCamera 的核心思想，是将所有并行环境中的相机视口在 GPU 上拼接成一张"大纹理图"（Tile），从而通过一次 GPU 渲染调用就能完成所有环境的图像输出，避免逐个环境单独渲染带来的巨大开销。以本次实验环境 Isaac-Repose-Cube-Shadow-Vision-Direct-v0 为例，每个环境都配置了三类相机输入：RGB、深度（Depth）以及语义分割（Semantic Segmentation）。这些视觉信息共同用于引导 Shadow Hand（24 自由度的五指灵巧手）完成对积木的重定向操作。在 4096 个并行环境的设置下，Tiled Camera 提供的批量并行渲染显著提升了整体训练吞吐量和效率，相比逐环境逐帧渲染具有明显优势。
在分布式训练层面，Isaac Lab 集成了 PyTorch Torchrun，可直接通过 PAI-DLC 的 PyTorch 任务启动跨 GPU、跨节点的分布式强化学习训练，并可与 rsl_rl、rl_games、skrl 等主流 RL 库无缝对接。典型流程中，每张 GPU 独立负责一组仿真环境及对应的神经网络前向推理，随后通过分布式通信在多卡之间同步梯度，从而在整体上实现数据并行的数据采集与策略更新。
查看视频 >> cloud.video.taobao.com/vod/7yhB_N5...
新方案 2：Newton 物理引擎与 Rerun 轻量可视化
🔗 方案链接： https://gallery.pai-ml.com/#/preview/deepLearning/cv/isaac_lab_newton
NVIDIA Newton 是新一代基于 Warp 的高性能物理引擎，相比传统 PhysX 后端在可微分物理、柔性体仿真等方面具有更强的扩展能力。Isaac Lab 现可将物理引擎与可视化后端解耦，用户可在同一套任务代码上灵活切换 Omniverse、Newton、Rerun 三种渲染器。其中 Rerun 是一个轻量级的开源可视化工具，支持 Web 端实时渲染与回放，无需 Omniverse 环境即可完成训练过程的三维可视化，大幅降低了部署门槛。
在 PAI-DSW 中，Newton+Rerun 成为更加"云原生"的可视化渲染方案：在后端，Newton 引擎可通过 Warp 接口，驱动 GU8T、GU8E、GU8TE 等 CUDA 核心 GPU 进行视觉渲染，而无需单独购买 GU8IS、GU8V 等 RT 核心 GPU，实现更大程度的资源复用；在前端，Rerun 窗口可直接嵌入在 Notebook Web 界面中，而无需再通过 VNC 启动 Isaac Lab 窗口。
查看视频 >> cloud.video.taobao.com/vod/8ACtWlV...
新方案 3：Isaac Lab-Arena 模块化测评环境构建
🔗 方案链接： https://gallery.pai-ml.com/#/preview/deepLearning/cv/isaac_lab_arena
NVIDIA Isaac Lab-Arena 是一个基于 NVIDIA Isaac Lab 构建的面向机器人仿真评估的综合性框架，提供了可组合、可扩展的系统架构，支持快速构建多样化的仿真场景并高效评估机器人学习策略，可助力研究人员与开发者灵活集成不同机器人本体、任务物体及环境配置，实现机器人任务的快速原型验证与迭代测试。
在 PAI-DSW 与 DLC 中，可基于 Isaac Lab-Arena 快速构建人形机器人的"箱子抓取与放置"（Box Pick and Place）运动与操作（Loco-Manipulation）任务。该任务需要全身协调，包括下肢移动、蹲下以及双手协同操作，展示了从环境搭建与验证、数据生成、策略模型后训练到整体闭环推理和策略评估全流程，体现了 Isaac Lab-Arena 在机器人策略评估上的强大能力。
查看视频 >>
cloud.video.taobao.com/vod/IqZXSFz...
近期，我们将分 3 篇文章分别详细阐述这三个方案的使用方法和技术原理，敬请期待。