基于yolov5滑块识别破解(二)

通过上一篇文章基于yolov5滑块识别破解(一)-CSDN博客,我们已经完成了yolov5的部署和训练,接下来我们将对源码进行改动,来实现滑块的自动滑动破解。

1.获取坐标

修改detect中for循环的内容,获取目标的左上角的x位置,可以理解为阴影快的位置。之后的代码都可以删除掉了。

修改末尾函数,返回x_location

2.浏览器登陆

这里以豆瓣登陆为例,使用DrissionPage操作浏览器,自动输入账号密码来到登陆界面的滑块确认操作:

代码如下:

复制代码
page = ChromiumPage()

# 跳转到登录页面
page.get('https://accounts.douban.com/passport/login')

# 点击账号密码登陆
page.ele('xpath://*[@id="account"]/div[2]/div[2]/div/div[1]/ul[1]/li[2]').click()

# 输入账号和密码
page.ele('xpath://*[@id="username"]').input('17263498234')
page.ele('xpath://*[@id="password"]').input('17263498234')

# 点击登陆
page.ele('xpath://*[@id="account"]/div[2]/div[2]/div/div[2]/div[1]/div[4]/a').click()

3.滑块图片获取

DrissionPage自带了页面截图的效果,我们只需要截取滑块部分即可。坐标获取的办法有很多种,我用的是直接截取整个网页图片,然后在windows画板中去查看坐标。(由于显示器大小的原因,不同的电脑可能滑块页面的像素位置会不同,建议自己截图测量一下)

代码如下:

复制代码
    page.get_screenshot(left_top=(754,294),right_bottom=(1114,664),name='blok.jpg')

left_top=(754,294):滑块部分左上角在整个页面的坐标

right_bottom=(1114,664):滑块部分右下角在整个页面的坐标

运行结果如下:

4.阴影快水平位置获取

再得到图片以后我们就可以调用yolov5去检测阴影快,得到距离目标的水平距离。

5.获取滑块元素

因为滑块元素是在原来的html页面里面又嵌套了一个html结构,直接获取滑块元素是获取不到的,我们需要切换到对应的iframe下,代码如下:

复制代码
# 切换iframe
iframe = page.get_frame('tcaptcha_iframe_dy')

# 获取iframe中的滑块元素
iframe.ele('xpath://*[@id="tcOperation"]/div[6]')

6.滑动滑块

在拿到距离目标的水平位置之后,我们可以滑动滑块去解锁了。由于yolov5返回的目标位置是从图片最左边开始算的,而且滑块的起始位置并不在最左边,所以我们还要减掉滑块的起始位置。

完整代码

复制代码
import shutil
import time
import os
from detect import get_location
from DrissionPage import ChromiumPage

# 用 d 模式创建页面对象(默认模式)
page = ChromiumPage()

def delete_folder(folder_path):
    if os.path.exists(folder_path):
        shutil.rmtree(folder_path)  # 删除文件夹及其内容
        print(f"文件夹 '{folder_path}' 已删除")
    else:
        print(f"文件夹 '{folder_path}' 不存在")

def delete_files_in_directory(directory):
    # 遍历目录中的所有文件
    for filename in os.listdir(directory):
        file_path = os.path.join(directory, filename)
        try:
            # 检查是否是文件,避免删除子文件夹
            if os.path.isfile(file_path):
                os.remove(file_path)
                print(f'已删除文件: {file_path}')
        except Exception as e:
            print(f'删除文件时出错: {file_path}, 错误: {e}')


def action(target):
    # 切换iframe
    iframe = page.get_frame('tcaptcha_iframe_dy')
    print('开始滑动')
    iframe.ele('xpath://*[@id="tcOperation"]/div[6]').drag(target,0,1)
    print('滑动结束')


def login_page():
    # 跳转到登录页面
    page.get('https://accounts.douban.com/passport/login')

    # 点击账号密码登陆
    page.ele('xpath://*[@id="account"]/div[2]/div[2]/div/div[1]/ul[1]/li[2]').click()

    # 输入账号和密码
    page.ele('xpath://*[@id="username"]').input('17263498234')
    page.ele('xpath://*[@id="password"]').input('17263498234')

    # 点击登陆
    page.ele('xpath://*[@id="account"]/div[2]/div[2]/div/div[2]/div[1]/div[4]/a').click()

    # 等待让滑块加载出来
    time.sleep(2)

    # 删除之前的图片
    delete_files_in_directory('./data/images')
    delete_folder('./runs/detect/')

    # 对整页截图并保存
    page.get_screenshot(left_top=(754,294),right_bottom=(1114,664),name='blok.jpg',path='./data/images')

    # 获取当前位置
    location = get_location()

    # 滑动滑块,位置为目标距离减去滑块起始距离
    action(location-40)


if __name__ == '__main__':
    login_page()

结果展示

相关推荐
HABuo1 小时前
【YOLOv8】YOLOv8改进系列(12)----替换主干网络之StarNet
人工智能·深度学习·yolo·目标检测·计算机视觉
AdaCoding4 小时前
YOLOv8架构详解
yolo·网络结构图
云卷云舒___________6 小时前
【Ultralytics YOLO COCO 评估脚本 | 获得COCO评价指标】
yolo·coco·ultralytics
plmm烟酒僧1 天前
在 RK3588 多线程推理 YOLO 时,同时开启硬件解码和 RGA 加速的性能分析
yolo·rkmpp·瑞芯微·硬件加速·rga·色彩空间转换
HABuo2 天前
【YOLOv8】YOLOv8改进系列(11)----替换主干网络之MobileNetV4
人工智能·深度学习·yolo·目标检测·计算机视觉
Kai HVZ2 天前
《深度学习》——yolov4详解
人工智能·深度学习·yolo
plmm烟酒僧2 天前
基于 RK3588 的 YOLO 多线程推理多级硬件加速引擎框架设计(代码框架和实现细节)
yolo·rk3588·多线程·rkmpp·硬件加速·视频解码·librga
Shier833_Ww3 天前
目标识别与双目测距(1)环境搭建:Ubuntu+yolov5+pcl库
linux·yolo·ubuntu
记得开心一点嘛3 天前
YOLOv11模型的常见处理
深度学习·yolo·机器学习