关于第一个问题
对。
软件上采用mediapipe实现平面动作捕捉,单目相机估计深度信息(单目估深后才能实现大拇指向内侧弯曲的映射)。
硬件采用绳驱,可以后置电机,减少惯量
应用场景
医疗飞刀

比如医疗方面,异地手术被称为飞刀,以前是把医生送过去,后来可以用机器人远程控制(达芬奇Si),但是:
这是达芬奇手术机器人的操作端,复杂且体积大,病人需要手术时,医护人员必须在医院使用沉重复杂的控制端才能做手术,无法随时随地做飞刀。用这种方案,完全可以让医生在家里就能给远在几千公里外的患者开刀。当然,医用方案会改为双目相机(深度估计比单目准),且会使用多次cascade滤波(防止手抖),增加限位(下刀出错)
数据采集
目前大部分数据采集都需要佩戴采集手套或模拟遥操臂,效率低,且耗时长。用这种方案,可以允许操作者在任何环境下采集数据。在光线不足的情况下,还可以引入基于SNN的神经神态相机捕捉动作。


机械控制
比如机器人/重型机械控制,在很多动漫或者现实中,操作机器人、坦克等重型设备需要使用有形的控制器,比如体感手套,多通道遥控器、拉杆等。无法发挥和人手一样的控制自由度(没我们手灵活),且佩戴设备的价格不菲(500元起步),而且带上后很沉重,更重要的是,不同人需要不同的尺寸。
用这套方案,可以实现无需佩戴手套的精确遥控(不仅可以用于手部关节映射,也可以全身映射),尤其对于动作重定向技术的迭代(采集人类的动作数据,将其映射(重定向)到机器人的关节上,再通过强化学习或模仿学习训练,最后部署到实体机器人。宇树就是这么做的)有广泛前景。
【图 体感手套】

关于产品历史
以下是我校校长李术才院士体验我一代和二代灵巧手的视频图片,贵报可以引用:
产品研发迭代:
我们的第一代灵巧手仅仅有7个自由度,且需要通过体感手套操作,


【图 深圳科学高中校长 罗诚 亲自体验一代灵巧手和机械臂】

【图 山东大学校长 李术才院士 亲自体验一代灵巧手和机械臂】

第二代灵巧手就是贵社参观时的,拥有17自由度,使用视觉伺服。
【图 山东大学校长 李术才院士 亲自体验二代灵巧手和机械臂】

关于《从零手搓高达》项目的历史
制造一台属于自己的高达,是我从童年起就深埋心底的梦想。高中时碍于技术有限,我只能通过Cosplay独角兽高达来表达这份热爱------那时我站在会场里,心里想的却是:总有一天,要让机甲真正动起来。
【图 cosplay图片 受访图片】


高考填报志愿那年,恰逢具身智能浪潮兴起。我几乎没有犹豫,毅然选择了山东大学人工智能学院,希望在这里找到通往梦想的阶梯。入校后,我有幸加入崔志伟导师的项目组,开始专注灵巧手方向的研究。
大一暑假,我正式进入山东大学机器人研究中心,在张国腾导师和朱玮良师兄的指导下,系统学习并实践了从建模、仿真、强化学习到Sim2Real的完整技术链条。那段时间几乎每天都在试错和调试中度过,但每一步突破都让"手搓高达"的轮廓更加清晰。
【图 实验室一览 与师兄的合影】


大二时,我参加了全球人工智能算法精英大赛(灵巧手赛道),最终获得全国三等奖。比起奖项本身,更宝贵的是在赛场上验证了自己的想法,也看到了更广阔的技术可能。
【图 参赛现场 证书】



在理想牵引与现实支持的共同作用下------感谢家庭、学校和学院一路以来的鼓励------我已逐步完成了多个关键组件的原型搭建:
机械臂:
【图 机械臂】

灵巧手:
【图 17自由度灵巧手】

头部:斯图沃特六轴云台(并联)+二维追踪云台(串联)
【图 斯图沃特六轴云台(并联)+二维追踪云台(串联)】

足:
【图 力反馈机械足】


一个人的力量终究有限。大二上学期,我召集了一批同样对具身智能充满热忱的同学,正式成立了"具身智能实验室"。学院给予了1万元启动资金支持,并由崔志伟、张元帅两位导师联合指导。这个小小的起点,对我们而言意义非凡。
【图 项目组合影】


需要特别说明的是:第二代灵巧手并非我一人之功。我组大一吴秀通、大二宋宸宇同学作出了卓越贡献,真正体现了团队的力量。
【图 工作过程剪影】

目前,项目组并行推进三个课题:《一眸了然》眼动仪、《数智方舟》智能体终端,以及《从零开始手搓高达》具身智能项目。三个项目包揽院赛一、二等奖,现已成功进入校赛阶段。
【图 获奖合影】

如果贵报对我组《一眸了然》百元价位眼动仪 或《数智方舟》智能体终端系列项目感兴趣也很欢迎了解,我们不甚荣幸!