本文的思路是:手部关键点识别,然后根据识别到的手部关键点的位置信息来判断上一条还是下一条,然后通过键盘快捷键进行上下刷抖音。个人感觉比较有趣。
一、训练检测手部关键点的模型
直接就是从网上找手部关键点的数据集,然后直接用yolov8的关键点预训练模型来训练。这样就直接得到了可以使用的手部关键点模型。
二、代码开发
代码的思路是得到检测结果,然后判断相对位置的变化,设置一个距离阈值,大于阈值就认定是有效命令。有个问题就是动作完成后会有复位动作,所以在一个有效命令后先冻结2秒的判断,以防向下挥之后复位动作又判断为向上挥,导致一直上下上下同一条视频。(当时碰到的时候还很疑惑,想的是效果不可能这么差呀,然后经过一波头脑风暴发现了这个问题)
三、现场测试
先打开网页版抖音,然后直接运行代码,然后到网页版抖音的界面,进行手势操作。
四、总结
当时也是闲的没事干,突发奇想,实现一个这个方法。效果还行,后续改进的话我有一个想法就是根据检测到的手部关键点来提取整个手部的轮廓,这样对于手的位置就比较真实,不会乱跳。但是这个主要是想法,并不清楚是否会有所作用。