基于单目视觉的多模态绳驱灵巧手设计体系
一、人形机器人基于视觉的触觉传感技术
- 技术核心与优势
基于视觉的触觉传感（Vision-based Tactile Sensing）的核心原理是：通过摄像头捕捉弹性光学敏感层（通常是柔软、透明的硅胶或聚合物）与物体接触时的微观变形（如褶皱、拉伸、压缩），再利用计算机视觉算法从图像变化中提取丰富的触觉信息，如压力分布、剪切力、纹理、形状，甚至滑移。
- 其独特优势在于：
信息丰富：能提供高分辨率、高维度的触觉信息，远超传统单一功能的触觉传感器。
"视觉为主"路线的天然延伸：输出本身就是图像，与主流的视觉感知算法和视觉-语言大模型（VLM）能无缝衔接。
成本与可靠性：避免在狭小空间内集成大量复杂的微型电子元件，采用相对成熟的光学组件，有望实现更高的可靠性和更低的成本。
HapticVLM触觉识别系统
二、技术种类与工作原理
基于视觉的触觉传感技术主要依据其光学成像路径和结构进行划分。
（一）反射光成像（主流）
绝大多数视觉触觉传感器属于此类。它们从同侧发射光线并接收反射光。根据相机和光学结构的不同，又可细分为：
- 直视式（如GelSight及其衍生品）：这是最经典和广泛研究的类型。其基本结构包括：
弹性光学敏感层：通常是由透明硅胶制成的柔软、光滑的"皮肤"，内部混有反光颗粒（如金属粉末）。
光源：LED灯环，提供均匀照明。
摄像头：位于"皮肤"正后方，拍摄皮肤内表面的变形。
工作原理：当物体与敏感层接触时，会引起其表面微观变形。内置光源照亮这些变形，反光颗粒使得变形被相机清晰捕捉。通过分析图像中纹理的扭曲、阴影的变化，即可计算出接触面的三维几何形状、压力分布（法向力与剪切力）。
- 侧视式（如哈工大VMS灵巧手方案）：这是一种非常巧妙且创新的设计。
工作原理：它不将摄像头直接放在指尖，而是通过安装在机器人前臂的单个单目相机，观察驱动手指的绳索的微小位移。
优势：实现了"一石多鸟"------仅用一个低成本相机，就替代了数十个传统的力/力矩和位置传感器，实现了对18个关节角度、外部力矩、指尖接触力乃至物体柔软度和轮廓的多模态感知，大幅降低了系统的复杂性、故障率和成本。
（二）光路追踪
这类技术通过追踪光在波导（如光学纤维）中的传输变化来感知变形。
工作原理：将透明弹性体本身作为一个光波导，或在其中嵌入光纤网络。当弹性体受压变形时，会导致光路发生改变（如光强衰减、路径弯曲）。通过检测这些光学特性的变化，可以反推出压力和触觉信息。
特点：传感器结构可以做得更薄，但信息丰富度通常不如反射光成像式。
（三）标记点追踪
这类技术在弹性体内部或表面设置高对比度的标记点（如彩色斑点图案），通过计算机视觉算法追踪这些标记点在接触过程中的移动和变形，来精确计算表面应变和力。
特点：算法相对直观，计算效率高，能很好地还原变形场。
以下是几种主流技术的对比：
几种主流基于视觉的触觉传感技术比对
三、在人形机器人中的应用进展
基于视觉的触觉传感技术为人形机器人的"灵巧手"和"智能皮肤"带来了强大感知能力，是其实现精细操作的关键。
- 灵巧手精细操作与感知：
这是最核心的应用领域。高性能的视觉触觉传感器（如GelSight）通常被集成在指尖，提供抓取和操作过程中所需的丰富触觉反馈。
力控与安全交互：实时监测抓握力和接触力，防止抓碎易碎品（如鸡蛋）或对人类造成伤害，实现安全的人机协作。
物体识别与属性感知：识别物体的纹理（是砂纸还是丝绸）、材质（是金属还是泡沫）、软硬度，甚至几何轮廓（ reconstruct 物体形状）。哈工大的VMS手就能感知物体的柔软度并重建订书机、鼠标等物体的轮廓。
滑移检测：通过感知指尖表面的微小剪切力变化，及时检测物体是否即将滑脱，从而调整抓握力。
系统级创新：如哈工大VMS灵巧手另辟蹊径，通过前臂的单一相机实现了力-位-触多模态感知，为降低灵巧手成本和提高可靠性提供了全新思路。
- 全身安全与接近觉感知：
视觉触觉传感技术也开始被用于构建机器人的"智能皮肤"。
日本JAIST的ProTac系统提供了一个创新范例。它利用一层聚合物分散液晶（PDLC） 材料，可通过电压在透明和不透明状态间切换。
在透明状态下，内置相机可实现非接触式的接近觉感知；在不透明状态下，同一相机则通过追踪皮肤变形来实现触觉感知。这种双模式感知用一个简单结构实现了大面积、多模态的感知。
- 与大模型结合：
视觉触觉传感器输出的本身就是图像信息，这与视觉语言大模型（VLM） 和视觉语言动作模型（VLA） 的输入天然兼容。这使得机器人能够更有效地利用触觉数据来进行高层次的任务规划和决策，
例如根据触觉反馈理解"光滑且坚硬"的物体需要更大的摩擦力和更稳定的抓取姿态。
多感官触觉表征在机器人操作中的应用
四、不足与限制
尽管优势突出，但基于视觉的触觉传感技术在实际应用中仍面临一些挑战：
- 体积与集成度：
传统直视式传感器（如GelSight）为了容纳相机、光源和光学结构，通常具有一定的厚度和体积，将其集成到对空间极度敏感的机器人指尖或多关节手指上具有一定挑战性，可能影响灵巧性。
- 耐久性与维护：
与外界直接接触的弹性光学敏感层（硅胶皮肤） 虽然耐磨性能在不断改进，但长期在复杂、尖锐的环境中工作，依然存在被划伤、磨损、沾染油污甚至撕裂的风险，需要定期维护或更换。
- 数据处理与实时性：
高分辨率的触觉图像会产生巨大的数据量，对处理芯片的算力和传输带宽提出了较高要求。实现低延迟的实时处理（尤其是在需要快速反应的操控任务中）是一个需要持续优化的点。
- 校准与一致性：
传感器的输出会受到环境光、温度等因素的干扰，且每个传感器由于制造工艺可能需要单独的、复杂的校准过程，以保证力感知的准确性。如何保持大批量生产时的一致性也是一个工程难题。
- 多模态感知的挑战：
虽然视觉提供了丰富的接触面信息，但对于一些物理量的感知仍存在挑战，例如对极微弱振动的感知可能不如专用麦克风（音频模态），对绝对力值的精确标定可能不如某些传统力传感器8。
五、重点难点与主攻方向
- 微型化与集成化：
采用更小巧的摄像头模组（如手机摄像头）和MEMS工艺制造光学组件是主流方向。例如，国内公司叠动科技就在研发毫米级高性能的视觉触觉传感器。创新光学路径设计，如采用折返式光路，在更小的空间内实现所需的成像功能。
- 新材料与结构创新：
开发更耐磨、抗污、自愈合的新型弹性体材料，以延长光学敏感层的使用寿命。探索更耐用、反光特性更优的微颗粒掺杂材料。
日本JAIST的ProTac系统利用PDLC材料实现接近觉与触觉的切换，是材料创新带来功能突破的典范9。
- 算法提升与AI赋能：
利用深度学习模型直接从触觉图像中提取特征，进行力估计、滑移检测、物体识别等任务，降低对复杂物理模型的依赖，并提升精度和鲁棒性。
研究多模态融合算法，将视觉触觉信息与音频（来自麦克风）、运动（来自IMU）等信息结合。例如Meta等机构的Sparsh-X框架表明，融合多模态触觉信号能显著提升机器人的操作成功率和对物理世界的理解能力。
- 系统级创新：
哈工大的VMS灵巧手提供了一个绝佳的思路：不执着于在指尖集成所有传感器，而是通过系统级的巧妙设计（视觉观察绳驱系统），用最低的成本和最高的可靠性实现核心的触觉感知功能。这是一种思维范式的转变。
六、前沿技术突破与趋势
该领域的研究正快速发展，呈现出以下前沿趋势：
- 更先进的传感器设计：
追求更薄、更柔软、更高分辨率的传感器。例如，一些研究尝试将光学元件直接印制在柔性基底上，打造真正意义上的"视觉触觉电子皮肤"。
- 多模态触觉感知融合：
单纯依靠视觉模态已不足以满足复杂任务需求。前沿研究正积极将视觉触觉与音频（声学振动）、惯性（运动）、温度等感知模态融合。HapticVLM系统就结合了视觉语言模型来推断环境温度，以提供更丰富的触觉反馈。Sparsh-X框架则系统性地证明了融合视觉、音频、IMU和压力四种模态能极大提升机器人的操作性能。
- 与具身智能大模型深度结合：
视觉触觉传感器产生的"触觉图像"将成为训练具身智能大模型的关键数据源之一，使大模型不仅能"看"懂世界，还能"感受"和理解物理交互的规律，从而规划出更合理、更灵巧的动作。
- 开源与标准化：
为了加速领域发展，像JAIST ProTac这样开源其设计的做法变得越来越普遍。同时，业界也在推动建立标准的触觉数据集和基准测试，以公平评估不同传感器的性能。
基于视觉的触觉传感技术主要研发机构
七、总结与展望
基于视觉的触觉传感技术，通过巧妙地"用视觉解决触觉问题"，为机器人打开了一扇通往精细物理交互的大门。它以其信息丰富、与主流AI范式兼容、成本潜力可控的优势，成为人形机器人灵巧手技术中极具竞争力的路线。
未来的发展将不再是简单的技术迭代，而是呈现出多维融合的趋势：
感知融合：视觉触觉与听觉、惯性、温度等多模态传感的深度融合。
软硬融合：新型柔性材料、光学材料与精密硬件设计的结合。
算法与硬件的融合：更先进的AI算法与专用传感器硬件的协同优化。
系统层面的创新：跳出"必须在接触点感知"的思维定式，从整个机器人系统的角度寻求更优的感知解决方案。
VMS机械手多指协同灵巧操控目标
【免责声明】本文主要内容均源自公开资料和信息，部分内容引用了Ai。仅作参考，不作任何依据，责任自负。