1. 具身智能与仿真
1.1 UC Berkeley - Embodied Intelligence from Autonomous Experience
作者 : Toru Lin(博士论文,Spring 2026) 导师: Professor Jitendra Malik(主席)、Professor Pieter Abbeel、Professor Masayoshi Tomizuka
研究背景与动机 : 当前机器人系统在传感器运动控制方面仍远落后于人类,它们要么灵巧但脆弱,要么通用但笨拙。主流的机器人学习方法严重依赖扩展人类演示数据,但这种方法受到以下根本限制: - 人与机器人之间的具身差距(embodiment gap) - 高质量数据的稀缺性,尤其是灵巧操作任务
核心贡献:
本文提出**"Embodied Intelligence from Autonomous Experience"**范式:机器人通过主动探索和自我改进获得越来越灵巧和可泛化的技能。主要包含三大贡献:
1. 从人类演示学习灵巧先验 - HATO系统 (Hands-Arms TeleOperation):低延迟遥操作系统,使用商品化VR硬件实现到双手多指机器人的映射 - visuotactile策略学习管道:帮助弥合人类-机器人数据差距
2. 面向实际sim-to-real强化学习的技术 - 证明了复杂、接触丰富的操作技能可以在不需要大规模计算或照片级保真仿真的情况下高效学习
3. 统一框架 - 将现有算法组件统一并扩展,实现更强大的现实世界机器人系统 - 使机器人能够执行精细、接触丰富、长时域任务
技术亮点: - 在四足机器人、双臂操作任务上验证了方法 - 使用Pysonic Ability Hand等硬件 - 通过视觉触觉传感器实现感知运动控制
1.2 清华大学AIR团队 - GS-Playground
会议: RSS 2026 (Robotics: Science and Systems)
核心创新 : 清华大学智能产业研究院(AIR) DISCOVER Lab联合多家机构提出的GS-Playground通用多模态仿真框架,首次实现高吞吐量并行物理仿真与高保真视觉渲染的深度融合。
技术突破:
1. 自研高性能并行物理引擎 - 采用广义坐标下的速度-冲量动力学公式 - 将接触与摩擦统一建模为混合互补问题(MCP) - 通过投影高斯-赛德尔(PGS)求解器实现稳定求解 - 支持静摩擦保持、高刚度约束、大时间步稳定性
性能数据 : | 测试场景 | CPU后端吞吐 | 相比MuJoCo | 相比MjWarp | |---------|-----------|-----------|-----------| | 27自由度人形机器人(50个并行) | 1015 FPS | 32倍加速 | 600倍提升 |
2. 自研内存高效Batch 3DGS渲染技术 - 高效剪枝策略:高斯点数量减少90%以上,PSNR下降不足0.05 - 单张RTX 4090 GPU上,640×480分辨率可达10000 FPS - 最多可同时渲染2048个场景
3. 全自动化Real2Sim工作流 - 仅需输入单张RGB图像,数分钟内完成仿真就绪数字资产创建 - 实现真实场景到数字孪生的快速转换
平台特点: - 原生支持CPU/GPU双后端 - Windows/Linux/macOS全系统运行 - 无缝适配四足机器人、人形机器人、工业机械臂 - API全面兼容MuJoCo MJCF格式
开源信息:即将正式开源,详情关注清华大学AIR官网
1.3 清华大学AIR团队 - FreeAskWorld
会议: AAAI 2026 Oral
代码链接 : AIR-DISCOVER/FreeAskWorld
核心定位: 基于Unity开发的多模态大模型仿真器,集成了带交互性质的VLN (Vision-Language Navigation) Benchmark。
核心动因: 解决现有VLN Benchmark多采用单步指令驱动模式的问题,机器人仅需执行单一指令即可完成任务。
系统特点: - 合成数据生成器 - 交互式VLN Benchmark - 世界模拟功能 - 以人为中心的具身智能研究支持
1.4 香港中文大学 - AIRSHIP
论文: AIRSHIP: Empowering General-Purpose Intelligent Robots through Open-Source Embodied AI
团队: Hung-Chyun Chou, Bo Yu, Yi-Ming Zhou, Xuan Xia, Fan Wang, Shaoshan Liu
GitHub: airs-cuhk/airship
核心贡献:
1. 模块化LLM驱动架构 - 将LLM与模块化机器人组件集成 - 高层推理 + 低层控制统一 - 覆盖环境理解、导航、抓取
2. 重新规划机制 - 利用LLM反馈处理失败 - 重新执行、精炼、探索三策略 - 单指令任务成功率从50%提升到90% - 顺序任务成功率从6%提升到70%
3. 硬件-仿真协同设计 - 支持高效的sim-to-real验证 - ROS2接口标准化,模块可替换扩展
2. 人形机器人开源平台
2.1 Stanford大学 - ToddlerBot
GitHub :hshi74/toddlerbot 官网: toddlerbot.github.io/
项目概述: Stanford机器人实验室开源的低成本人形机器人平台,专为大规模策略学习设计。
核心参数 : | 参数 | 数值 | |------|------| | 主动自由度 | 30个 | | 驱动方式 | Dynamixel电机 | | 总成本 | < $6000 |
核心技术:
1. 数字孪生与零点校准 - 基于精确物理模型和系统识别技术创建高保真模拟模型 - 使用3D打印校准设备快速校准零点位置 - 通过电机系统识别(SysID)确保动态参数准确
2. 零样本Sim2Real转移 - 基于数字孪生技术确保模拟-现实一致性 - 训练策略可直接迁移到真实硬件
3. 强化学习与模仿学习支持 - 基于MuJoCo和PPO算法训练步行和转向策略 - 支持扩散策略(Diffusion Policy) - 远程操作支持Steam Deck或ROG Ally X
功能亮点: - 高效数据收集(模拟+现实双环境) - 全身运动与操作(步行、推、双臂操作) - 多机器人协作
使用示例:
go
python toddlerbot/policies/run_policy.py --policy replay --run-name push_up --vis view
2.2 哈工大/萝博派对 - Roboto_Original
发布日期: 2026年1月15日
项目概述: 萝博派对(Roboparty)宣布全栈开源的双足人形机器人,是全球技术成熟度领先的全开源人形机器人。
核心参数 : | 参数 | 数值 | |------|------| | 身高 | 1.2米 | | 体重 | 30公斤 | | 跑步速度 | 3m/s |
开源内容: - ✅ 硬件结构图 - ✅ 物料清单(BOM) - ✅ 供应商名单 - ✅ 控制算法 - ✅ 底层控制代码 - ✅ 核心参数、选型指南 - ✅ 拆解报告
软件模块: - 模仿运动模块 - 感知运动模块 - 导航运动模块 - 支持SMPL-X人体模型适配
项目特色: - 完整的EBOM物料清单 - 系统化样机测试矩阵 - 长期维护"动手学人形机器人问题清单"知识库 - 获得小米等机构千万美元种子轮融资
GitHub: 访问萝博派对GitHub获取资源
2.3 Menlo Research - Asimov V1
发布时间: 2026年5月
项目概述: 开源人形机器人平台,设计目标是推动人形机器人从封闭专有系统向可复现工程平台转变。
核心参数: | 参数 | 数值 | |------|------| | 身高 | 1.2米 | | 体重 | 35kg | | 主动自由度 | 25个DOF | | 峰值扭矩 | 120Nm | | 计算平台 | Raspberry Pi 5 + Radxa CM5 |
传感器配置: - 单目相机 - 四麦克风阵列 - IMU - 扬声器输出 - 关节状态反馈
独特设计: - 两个柔性被动脚趾关节 - 改善地面接触、行走平衡、 locomotion稳定性 - 降低软件控制负担
开源内容: - 机械CAD - 电气CAD - MuJoCo仿真模型 - 板载软件 - 物料清单
许可模式: - 硬件:CERN OHL-S 2.0 - 软件:GPL 2.0风格
商业化计划: - DIY套件:499定金,目标价\~15,000(2026年夏季)
3. 灵巧手与操作
3.1 NYU - Ruka-v2
论文: Ruka-v2: Tendon Driven Open-Source Dexterous Hand with Wrist and Abduction for Robot Learning
作者 : Xinqi Liu, Ruoxi Hu, Alejandro Ojeman Olarte, Zhuoran Chen, Kenny Ma等 机构: New York University, NYU Shanghai
官网:ruka-hand-v2.github.io
相比Ruka v1的改进 : - 新增2自由度解耦平行腕关节 :独立屈伸/伸展和桡/尺偏 - 新增手指外展/内收:实现薄物体抓取、手内旋转、书法等动作
性能提升(用户研究) : | 指标 | 提升幅度 | |------|---------| | 任务完成时间 | 减少51.3% | | 成功率 | 提升21.2% |
应用演示: - 10个单臂遥操作任务 - 3个双手遥操作任务 - 3个任务的自主策略学习
成本对比: | 灵巧手 | 成本 | |--------|------| | Ruka-v2 | ~1,500 \| \| Ruka v1 \| \~1,300 | | ORCA Hand | ~3,500 \| \| Shadow Hand \| \>100,000 | | Unitree Dex5 | ~$25,000 |
开源内容: - ✅ 3D打印文件 - ✅ 装配说明 - ✅ 控制器软件 - ✅ 教学视频
3.2 UCI - CRAFT
机构 : University of California, Irvine 合作: 伊利诺伊大学厄巴纳-香槟分校
项目概述: 导师Unnat Jain教授领导的低成本、高性能腱驱动灵巧手。
核心成本 : < $600
技术创新 : - 滚动接触关节 :模仿人体关节结构 - 刚柔结合设计:关节吸能+刚性连杆承重
功能覆盖 : - 覆盖Feix分类法中全部33种人类抓取类型 - 在复杂操作任务中表现优于RUKA和ORCA - 力承受接近LEAP Lite的两倍
遥操作支持: - 仅需单RGB摄像头即可控制 - 开箱即用
开源计划:团队计划开源
3.3 ORCA Hand
机构: 开源社区项目
产品线: | 配置 | 自由度 | 价格 | |------|--------|------| | ORCA Hand Lite | 9 DOF | ~1,500 \| \| ORCA Hand 标准版 \| 17 DOF \| \~3,500 | | ORCA Hand Touch | 17 DOF + 触觉 | ~$6,100 |
技术创新:
1. 可靠性设计 - 肌腱绕过光滑金属销钉,减少摩擦 - 非线性路径使用特氟龙管 - 棘轮卷轴机构:几秒内手动重新张紧,无需拆卸
2. 可弹出关节(Poppable Pin Joints) - 过载时"脱臼"而非断裂 - 轴承安放在弧形凹槽,正常运行卡紧,碰撞时弹出 - 按回即可恢复,无需更换零件
3. 自动校准 - 系统自动驱动关节到机械极限 - 结合CAD模型计算电机-关节映射 - 无需外部传感器,几分钟完成
精度表现: - 跟踪精度与LEAP Hand相当 - 运动比LEAP Hand更平滑
应用演示: - 遥操作:写字、开罐头、倒水、使用电钻 - 强化学习:IsaacGym并行训练4096个模型,1小时训练后零样本迁移 - 模仿学习:86.7%成功率
3.4 Aero Hand Open
机构: TetherIA Robotics
官网: docs.tetheria.ai/docs/intro/
架构特点: - 腱驱动、欠驱动设计 - 16 DOF(7主动+9被动) - 拇指3主动DOF实现真正灵巧性 - 单电机驱动单指,肌腱传导
硬件规格: | 规格 | 参数 | |------|------| | 自由度 | 16(7主动,9被动) | | 拇指DOF | 3主动 | | 供电 | 6V DC | | 通信 | USB | | 驱动 | 紧凑型伺服模块+集成编码器 |
软件栈: - MuJoCo仿真(腱级 actuation & observation) - Python SDK - ROS 2包(URDF、遥操作、RL策略部署) - 即将支持Isaac Sim
开源仓库结构:
go
aero-hand-open/
├── hardware/ # CAD模型、装配、PCB设计
├── firmware/ # 嵌入式控制软件
├── sdk/ # Python SDK和GUI
└── ros2/ # ROS2包
4. 强化学习与运动控制
4.1 Harvard Computational Robotics Lab
GitHub: ComputationalRobotics
最新项目:
1. TSMC (Tempered Sequential Monte Carlo for Trajectory and Policy Optimization) - 会议: RSS 2026 - 用于轨迹和策略优化的 tempered 序贯蒙特卡洛方法
2. TRAC (Parameter-Free Optimizer for Lifelong Reinforcement Learning) - 无参数优化器,用于终身强化学习 - Jupyter Notebook实现
3. GPC (Strengthening Generative Robot Policies through Predictive World Modeling) - 通过预测世界模型增强生成式机器人策略
4. CRISP - "On the Surprising Robustness of Sequential Convex Optimization for Contact-Implicit Motion Planning" - 接触隐式运动规划的鲁棒性研究
4.2 CLeAR Lab (CMU)
GitHub: CLeARoboticsLab
最新项目:
1. simdist (Simulation Distillation) - 会议: RSS 2026 - 在仿真中预训练世界模型,实现快速真实世界适应 - 论文: "Simulation Distillation: Pretraining World Models in Simulation for Rapid Real-World Adaptation"
2. go2_isaac_ros2 - Unitree Go2机器人在Isaac Sim中的ROS2仿真 - 低层关节控制支持
3. ssrl (Semi-structured Dynamics Models) - 会议: CoRL 2024 - 从三分钟真实世界数据学习步态
4. MultiFidelityPolicyGradients - 多保真度控制变量方法用于策略梯度估计
4.3 Stanford ASL Lab
GitHub: StanfordASL
核心开源项目:
1. hj_reachability - Hamilton-Jacobi可达性分析 - JAX实现,高性能计算 - 172 stars, 27 forks
2. oscbf (Optimized Smooth Control Barrier Functions) - 安全、高性能、任务一致的机械臂控制 - Python实现 - 172 stars, 17 forks
3. neural-network-lyapunov - 综合神经网络的Lyapunov函数(和控制器)作为稳定性证书 - 177 stars, 37 forks
4. Trajectron++ - 异构数据可行轨迹预测 - ECCV 2020 - 794 stars, 214 forks
5. 导航与SLAM
5.1 Service Robotics Lab (西班牙)
GitHub: robotics-upo
核心项目:
1. D-LIO (6DoF Direct LiDAR-Inertial Odometry) - 基于同时截断距离场映射的6自由度直接激光雷达惯性里程计 - 融合LiDAR点云到稠密3D地图
2. 4D-Radar-Odom - ROS2 Humble包 - 使用4D雷达和IMU估计3D里程计 - 适用于激光雷达性能受限的环境
3. DB-TSDF - 高效CPU-only体积映射框架 - 基于方向位掩码编码的截断符号距离场(TSDF) - 27 stars, 4 forks
4. gaussian-rio-cpp - Gaussian RIO 2.0 - C++实现,更ROS友好 - 26 stars, 4 forks
5. G-EDF - 高性能C++框架 - 连续、内存高效的欧几里得距离场(EDF)建模 - 支持大规模3D环境
5.2 stella_vslam
项目概述: 开源视觉SLAM系统,源自OpenVSLAM,支持单目、双目和RGB-D相机。
核心功能: - 实时定位与建图 - 地图存储与重定位 - 动态环境适应 - ORB特征高效检测
技术架构: | 模块 | 功能 | 特性 | |------|------|------| | 相机系统 | 图像处理 | 支持多种相机模型 | | 特征提取 | 环境识别 | 高效ORB检测 | | 地图构建 | 环境建模 | 3D点云重建 | | 优化引擎 | 精度提升 | 集成g2o和GTSAM |
许可: BSD 2-Clause
5.3 slam_toolbox
维护者: Steve Macenski (Samsung Research)
ROS 2 Humble: docs.ros.org/en/ros2_packages/humble/api/slam_toolbox/
核心功能: - 点对点2D SLAM - 持续地图细化 - 终身建图:加载保存的姿态图继续建图 - 基于优化的定位模式 - 同步/异步映射模式 - 动态地图合并 - 基于Google Ceres的优化求解器插件
性能指标: - 最高5x+实时映射(30,000平方英尺) - 3x实时映射(60,000平方英尺) - 已知最大区域:200,000平方英尺
6. 多机器人协调
6.1 SPACE (Swarm Planning and Control Evaluation)
论文 : IEEE/ACM预印本 arXiv: arxiv.org/pdf/2409.04230
机构 : 韩国航空大学 作者: Inmo Jang
核心定位: Python编写的多机器人任务分配(MRTA)算法评估仿真器。
核心特性: | 特性 | 描述 | |------|------| | 行为树 | 基于BT定义和管理代理行为 | | Groot2集成 | 可视化编辑行为树 | | 灵活配置 | YAML文件配置 | | 自定义插件 | 决策算法作为Python插件 | | 本地通信 | 内置代理间通信支持 | | 动态任务 | 支持动态任务生成 |
已实现算法: - CBBA (Consensus-Based Bundle Algorithm) - GRAPE
6.2 IMRCLab (TU Berlin)
GitHub: IMRCLab
核心项目:
1. crazyswarm2 - 大型四旋翼无人机群 - Python 211 stars - 377 forks - 基于USC-ACTLab工作
2. CrazyMARL - 多智能体强化学习框架
3. wmr-simulator - 模块化差分驱动机器人仿真器 - 完整管道:控制器、规划器、估计器 - 单一YAML配置运行完整实验
6.3 Parasol Lab (UIUC)
官网: www.parasollab.web.illinois.edu/research/cbs-extensions/
核心贡献:
1. CBS-MP (Conflict-Based Search for Motion Planning) - 多机器人运动规划 - 支持移动、高自由度、异构多机器人系统 - 可规划32个机器人
2. TMP-CBS - 多机器人集成任务和运动规划 - 支持可分解任务的顺序依赖子任务 - 处理机器人间的对象传递
3. ARC (Adaptive Robot Coordination) - 自适应机器人协调 - 利用局部子问题解决机器人间冲突
7. GPU加速与优化
7.1 A²R Lab
GitHub: A2R-Lab
机构概述: 可访问和加速机器人实验室(A²R Lab)专注于通过算法-硬件-软件协同设计优化机器人系统。
核心项目:
1. GRiD (GPU Rigid Body Dynamics) - GPU加速刚体动力学计算库 - 解析梯度计算 - 14 stars
2. MPCGPU - "MPCGPU: Real-Time Nonlinear Model Predictive Control through Preconditioned Conjugate Gradient on the GPU" - GPU上的预处理共轭梯度实现实时非线性MPC - MIT许可
3. GBD-PCG - GPU加速块三对角矩阵预处理共轭梯度求解器
4. DiffCompressDRL - 差分编码观测空间用于感知强化学习
5. Just-Round - 量化观测空间实现内存高效动态学习
7.2 UM ARM Lab (密歇根大学)
GitHub: um-arm-lab
核心开源项目:
1. pytorch_kinematics - PyTorch实现的机器人运动学 - 793 stars, 70 forks - MIT许可
2. pytorch_mppi - PyTorch实现的模型预测路径积分控制 - 近似动力学
3. pytorch_volumetric - 体素和SDF的PyTorch实现 - 体积结构库
4. IsaacLabTactile - Isaac Lab触觉学习统一框架 - 3,476 stars - BSD-3-Clause许可
5. rl_games_cotrain - 联合训练RL实现
8. 开源工具与框架
8.1 Stanford ARM Lab
GitHub:armlabstanford
最新发布:
1. tensor-touch - 期刊: IEEE Transactions on Robotics (T-RO) 2026 - 高分辨率应力张量和变形触觉传感器标定 - 用于灵巧操作
2. NextBestSense - 会议: ICRA 2025 - 自主重建3D Gaussian Splatting场景用于机器人操作
3. Touch-GS - 会议: IROS 2024 - 视觉-触觉监督3D Gaussian Splatting
4. J-PARSE - Jacobian-based Projection Algorithm for Resolving Singularities Effectively - 逆运动学奇异点处理
5. DexFruit - 期刊: IEEE Robotics and Automation Letters (RA-L) 2025 - 水果灵巧操作和Gaussian Splatting检测
8.2 ROS 2生态系统
ROS 2现状(2026年) : - ROS 1已于2025年5月EOL - 全面转向ROS 2 - Jazzy Jalisco LTS :稳定支持至2029年 - Rolling Ridley :持续更新 - Lyrical Luth:预计2026年5月发布
活跃发展方向: - AI/ML框架更紧密集成 - GPU感知执行和零拷贝数据流 - 人形平台上的具身AI工作负载 - 云机器人改进支持 - 增强实时性能
ROSCon 2025:新加坡,52个国家1000+参与者
8.3 协作机器人课程资源
Stanford ME326: - 协作机器人课程 - 包含TidyBot with Locobot WX250臂的Docker镜像 - 2026年更新
开源资料: - TowardsAccessibleRobotControl - ROS和Unity包 - 比较动觉教学、SpaceMouse遥操作和混合现实接口
开源项目快速索引
| 项目 | 机构 | 链接 | 许可 |
|---|---|---|---|
| GS-Playground | 清华AIR | 待发布 | - |
| ToddlerBot | Stanford | hshi74/toddlerbot | MIT |
| Roboto_Original | 哈工大/萝博派对 | GitHub | - |
| Asimov V1 | Menlo Research | 待发布 | CERN OHL-S 2.0 |
| Ruka-v2 | NYU | ruka-hand-v2.github.io | - |
| ORCA Hand | 开源 | - | - |
| Aero Hand Open | TetherIA | docs.tetheria.ai | 开源 |
| hj_reachability | Stanford ASL | StanfordASL | - |
| oscbf | Stanford ASL | StanfordASL | MIT |
| GRiD | A²R Lab | A2R-Lab | MIT |
| pytorch_kinematics | UM ARM Lab | um-arm-lab | MIT |
| simdist | CMU CLeAR | CLeARoboticsLab | MIT |
| AIRSHIP | CUHK | airs-cuhk/airship | - |
| TSMC | Harvard | ComputationalRobotics | - |
| D-LIO | UPO | robotics-upo | - |
总结
今日收集到的高校机器人开源论文和项目呈现以下趋势:
-
低成本化
:灵巧手600-1500、人形机器人6000-15000,降低研究门槛
-
具身智能突破
:清华GS-Playground实现600倍训练加速
-
开源生态完善
:硬件+软件+仿真全栈开源
-
GPU加速普及
:A²R Lab、UM ARM Lab等推动实时控制
-
Sim2Real进步
:数字孪生、Real2Sim工作流成熟
-
多机器人协作
:群智能、MRTA算法开源