软体机器人技术近年来发展迅速，尤其在拟人手的研发方面，研究者们一直致力于模仿人手的高灵巧性与适应性。然而，现有软体机械手大多缺乏真正的"手内视觉"能力，且多数设计中的手指无法像人手一样实现独立的多方向运动（如同时进行弯曲/伸展和内收/外展），这大大限制了其在复杂任务中的自主性与智能性。此外，传统的视觉系统多为外置式，不仅占用空间，也无法在抓取过程中持续提供物体视角，导致抓取稳定性与操作精度受限。
近日，来自多伦多大学的研究团队在《IEEE Transactions on Robotics》上发表了题为 "A Cable-Driven Soft Robotic Hand with an In-hand RGB-D Camera for Dexterous Grasping and Manipulation" 的研究，提出一种具备手内视觉的电缆驱动软体机器手。该系统不仅每个手指可独立实现双向弯曲与侧向运动，还在手掌集成了RGB-D相机，实现了视觉引导抓取、视觉滑移检测与补偿、以及基于视觉伺服的手内操作，标志着软体机器手向"具身智能"迈出了重要一步。
01
文章概述
文章围绕"如何让软体机器手像人手一样既灵巧又能'看得见'"这一核心问题展开。其研究思路是：首先，针对现有软体手缺乏独立侧向运动和集成视觉的不足，设计了一款每个手指都能独立进行双向弯曲与侧摆的电缆驱动仿生软体手，并在掌心集成RGB-D相机；然后，通过建立修正的运动学模型和实验表征，确保对手指的精准控制；最后，系统性地验证了手的三大智能能力------基于手内视觉的未知物体自主抓取、实时滑移检测与补偿、以及视觉伺服下的六自由度手内物体操作。 研究内容完整涵盖了从仿生设计、驱动建模、性能测试到高级视觉-触觉融合智能的闭环，最终展现出一个兼具高灵巧性与环境感知能力的软体操作平台。
02
研究亮点
-
**仿生设计与高灵巧性：**五指结构仿照人手，每个手指可独立进行弯曲/伸展与双向内收/外展运动，具备10个自由度。
-
**集成手内视觉系统：**手掌内置RGB-D相机，全程无遮挡获取物体视觉信息，支持视觉伺服与实时反馈。
-
**智能抓取与操作能力：**实现33种人类抓握姿态、视觉引导抓取、动态滑移补偿与6自由度手内物体操作。
03
图文解析
图 1
软体机器手实物与典型任务展示
图中展示了机器手的整体外观：具有五个软体手指，结构紧凑且形态仿生。图(b)显示其与人手协作倒水，仅通过手指运动完成精细倾倒动作；图(c)展示其同时抓取一颗易碎树莓与一个装满树莓的塑料杯，体现了其安全抓取与多目标协调能力。图中清晰可见手指弯曲与侧向运动结构，突出其灵巧与适应性。
图 2
软体手的整体设计与结构分解
图(a)展示手部整体设计，采用硅胶手掌与3D打印刚性外壳结合，拇指与其余四指呈60°对置，模拟人手对握结构。图(b)为手掌基座集成RGB-D相机，确保操作全程视野无遮挡。图(c)为电缆驱动系统示意图，每指由两根电缆独立驱动，电机通过线轴控制拉力。图(d)为手指内部结构，可见柔性内骨骼与三处弯曲关节、一处侧摆关节，仿照人类指骨与肌腱布局。
图 3
软体手指运动学建模示意图
图中以伪刚性连杆模型描述手指运动学。图(a)标注各关节名称（ABD、MCP、PIP、DIP）。图(b)(d)分别为传统模型下的弯曲与侧摆运动示意，图(c)(e)则为修正后的偏移模型，其中关节旋转中心随角度动态偏移，更贴合软关节的实际变形行为。模型通过实验验证，为后续控制提供理论依据。
图 4
模型验证与指尖轨迹对比
图(a)(b)分别对比手指在弯曲运动（0°--145°）与侧摆运动（0°--30°）中，实验轨迹、修正模型预测轨迹与传统模型轨迹。修正模型在弯曲运动中误差仅0.86mm，远低于传统模型的6.23mm；侧摆运动误差为0.45mm，亦显著优于原模型。结果表明修正模型能更准确描述软关节非线性运动，为精准控制奠定基础。
图 5
实现GRASP分类中全部33种抓握姿态
图中以九宫格形式展示软体手成功复现了GRASP分类中的所有33类人类抓握姿态，涵盖捏取、握持、侧捏、钩抓等多种类型。每张子图清晰显示手指的不同配置与物体接触状态，证明其凭借各指独立双向运动能力，可实现与人类手部高度相似的灵巧抓取形态。
图 6
双可乐罐顺序抓取与协同搬运实验
图(a)--(d)分步展示机器手抓取两个独立放置的可乐罐：(a)先用拇指、食指、中指抓取第一罐；(b)旋转手部并接近第二罐；(c)无名指与小指侧摆并弯曲，依托手掌支撑抓取第二罐；(d)双手指协同将两罐同时提起。该实验凸显其通过手指独立运动实现多物体分持与协调操作的能力。
图 7
基于手指步态的瓶盖旋拧操作
图中展示通过设计四步循环手指步态实现连续旋转瓶盖：(a)初始姿态接近瓶盖；(b)拇指与其余四指反向侧移并抓握；(c)所有手指反向运动旋转瓶盖；(d)释放；(e)回位并再次抓握；(f)重复三次后成功拧开瓶盖。该过程体现软体手通过协同侧摆与弯曲运动实现复杂操作任务的策略性。
图 8
六自由度手内物体操作测试
图中展示软体手对抓持物体实现的六类基本运动：(a)x轴平移（全指同向侧摆）；(b)y轴平移（拇指与四指反向弯曲）；(c)z轴平移（所有指同步弯曲）；(d)x轴旋转；(e)y轴旋转；(f)z轴旋转。各子图标注运动范围（如x平移-20.8mm至14.9mm），表明其具备全自由度物体操控能力，为真正的手内灵巧操作提供实证。
图 9
视觉引导抓取全流程示意图
图(a)为手眼标定设置，定义全局、相机、手部坐标系；(b)展示通过手部移动相机从多视角扫描物体；(c)实验布置多个不同形状物体；(d)点云融合与最小体积包围盒（MVBB）生成，并据此确定抓取姿态；(e)按规划姿态依次抓取物体至收纳盒。全过程体现从感知到抓取的闭环视觉自主性。
图 10
视觉滑移检测与实时补偿实验
图(a)为手抓水瓶并注水场景，相机持续追踪瓶上ArUco标记；(b)无补偿时水瓶滑脱；(c)绘出标记位移与电机角度随时间变化曲线，显示注水过程中滑移被检测到（位移超阈值），电机角度随即调整以增强抓握力。该实验验证视觉反馈能实现动态负载下的抓取稳定性维持。
04
总结与展望
该研究成功开发出一款具备手内视觉的高灵巧软体机器手，在结构设计、运动建模、视觉集成与智能控制方面实现了系统性创新。其不仅可完成复杂抓取与多物体操作任务，还能通过实时视觉反馈实现自适应抓持与精确操作，展现出在家庭服务、食品分拣、辅助假肢等领域的广泛应用潜力。
目前该手在抓取极小尺寸物体方面仍存在局限，未来研究可通过优化指尖结构、引入触觉传感或结合学习算法进一步提升其适应性与智能化水平。随着视觉--运动融合技术的深化，此类具备"眼在手心"的软体机器手有望成为实现真正人机协作与自主操作的关键平台。