看似简单的 GPU 插入 PCIe 插槽，却是机器人领域公认难题。传统流水线易受环境偏移失效，端到端 VLA 模型缺少接触反馈，亚毫米级装配几乎无法落地。
哈佛、斯坦福、MIT 联合团队最新发布 CoStream 框架，依靠 GelSight 视触觉传感器实现高成功率精密装配。
CoStream论文视频
一、行业痛点：两类主流方案均存在明显短板
目前机器人精密操作主要分为两大路线：
1、传统模块化流水线
感知、规划、控制耦合度高，更换任务往往需要重新调整流程；一旦环境、位置或工件姿态发生微小变化，系统容易直接失效。
2、端到端视觉语言动作策略
虽然具备较强泛化展示能力，但在窄间隙、强接触、高滑移风险场景中，仍缺少独立、高频、实时的触觉反馈通道。尤其是 GPU、钻头插入等亚毫米级装配任务，纯视觉方案很难稳定完成。
核心问题不在于 "模型不够大"，而在于接触控制需要独立的高频反馈通道。
图 1：CoStream 实验平台：基于 Franka机器人+Gelsight视触觉传感器 的双臂精密装配系统
二、CoStream 核心创新：三类行为并行组合
CoStream 跳出了 "单一流水线" 和 "单一策略" 的思路，采用三类独立行为并行运行，并在每个控制周期融合为统一末端位姿指令。
图 2：CoStream 整体架构图
1、语义行为 ------基于 LLM 和 VLM 理解任务目标，建立任务坐标系，减少视觉感知漂移。
2、预测行为 ------从生成视频中提取运动先验信息，辅助处理遮挡、路径模糊和接触歧义。
3、反应行为 ------通过 GelSight 视触觉传感器实时捕捉接触形变与滑移，并结合 Franka 机械臂力矩信息进行高频柔顺控制。
其中，反应行为是整套系统实现亚毫米级精密装配的关键。
图 3：CPU/RAM/GPU 精密装配全流程实拍
三、实验结果：精密装配能力明显提升
在论文实验中，CoStream 在 GPU、RAM、CPU、钻头插入等精密装配任务中表现突出。相比 VoxPoser 和 π₀.₅等基线方法，CoStream 在接触密集型任务中的完成率更高。
即使在人为扰动场景中，系统也能通过触觉反馈识别工件滑移，并快速校正末端姿态，降低卡死和装配失败风险。
三个装配任务 人为扰动下 GelSight 触觉实时校正效果图
四、欣佰特科研硬件方案
论文实验中涉及的核心硬件，欣佰特可提供配套供应与集成支持：
- Franka七轴力控协作机械臂
具备全关节力矩传感、重复定位精度高、支持实时阻抗控制，是科研精密操作平台的主流选择。
- GelSight Mini 视触觉传感器
能够捕捉接触表面形变与细微滑移，为精密装配、抓取稳定、接触控制提供高频触觉反馈。
- 配套设备
可搭配ZED双目3D相机、Robotiq电动夹爪、机器人工作台等，形成完整科研实验平台。
结尾
CoStream 展示了一个重要方向：高精度机器人装配不能只依赖视觉和大模型规划，独立的视触觉反馈通道同样关键。
引用论文
项目官网：https://costream-simple.github.io/
论文arXiv：https://arxiv.org/abs/2606.26423
欢迎关注 "欣佰特科技 " ，持续为大家带来 "具身智能领域 "前沿技术及应用！详情可邮件咨询++++sales@cnbestec.com++++