基于yolov5滑块识别破解(二)

通过上一篇文章基于yolov5滑块识别破解(一)-CSDN博客,我们已经完成了yolov5的部署和训练,接下来我们将对源码进行改动,来实现滑块的自动滑动破解。

1.获取坐标

修改detect中for循环的内容,获取目标的左上角的x位置,可以理解为阴影快的位置。之后的代码都可以删除掉了。

修改末尾函数,返回x_location

2.浏览器登陆

这里以豆瓣登陆为例,使用DrissionPage操作浏览器,自动输入账号密码来到登陆界面的滑块确认操作:

代码如下:

page = ChromiumPage()

# 跳转到登录页面
page.get('https://accounts.douban.com/passport/login')

# 点击账号密码登陆
page.ele('xpath://*[@id="account"]/div[2]/div[2]/div/div[1]/ul[1]/li[2]').click()

# 输入账号和密码
page.ele('xpath://*[@id="username"]').input('17263498234')
page.ele('xpath://*[@id="password"]').input('17263498234')

# 点击登陆
page.ele('xpath://*[@id="account"]/div[2]/div[2]/div/div[2]/div[1]/div[4]/a').click()

3.滑块图片获取

DrissionPage自带了页面截图的效果,我们只需要截取滑块部分即可。坐标获取的办法有很多种,我用的是直接截取整个网页图片,然后在windows画板中去查看坐标。(由于显示器大小的原因,不同的电脑可能滑块页面的像素位置会不同,建议自己截图测量一下)

代码如下:

    page.get_screenshot(left_top=(754,294),right_bottom=(1114,664),name='blok.jpg')

left_top=(754,294):滑块部分左上角在整个页面的坐标

right_bottom=(1114,664):滑块部分右下角在整个页面的坐标

运行结果如下:

4.阴影快水平位置获取

再得到图片以后我们就可以调用yolov5去检测阴影快,得到距离目标的水平距离。

5.获取滑块元素

因为滑块元素是在原来的html页面里面又嵌套了一个html结构,直接获取滑块元素是获取不到的,我们需要切换到对应的iframe下,代码如下:

# 切换iframe
iframe = page.get_frame('tcaptcha_iframe_dy')

# 获取iframe中的滑块元素
iframe.ele('xpath://*[@id="tcOperation"]/div[6]')

6.滑动滑块

在拿到距离目标的水平位置之后,我们可以滑动滑块去解锁了。由于yolov5返回的目标位置是从图片最左边开始算的,而且滑块的起始位置并不在最左边,所以我们还要减掉滑块的起始位置。

完整代码

import shutil
import time
import os
from detect import get_location
from DrissionPage import ChromiumPage

# 用 d 模式创建页面对象(默认模式)
page = ChromiumPage()

def delete_folder(folder_path):
    if os.path.exists(folder_path):
        shutil.rmtree(folder_path)  # 删除文件夹及其内容
        print(f"文件夹 '{folder_path}' 已删除")
    else:
        print(f"文件夹 '{folder_path}' 不存在")

def delete_files_in_directory(directory):
    # 遍历目录中的所有文件
    for filename in os.listdir(directory):
        file_path = os.path.join(directory, filename)
        try:
            # 检查是否是文件,避免删除子文件夹
            if os.path.isfile(file_path):
                os.remove(file_path)
                print(f'已删除文件: {file_path}')
        except Exception as e:
            print(f'删除文件时出错: {file_path}, 错误: {e}')


def action(target):
    # 切换iframe
    iframe = page.get_frame('tcaptcha_iframe_dy')
    print('开始滑动')
    iframe.ele('xpath://*[@id="tcOperation"]/div[6]').drag(target,0,1)
    print('滑动结束')


def login_page():
    # 跳转到登录页面
    page.get('https://accounts.douban.com/passport/login')

    # 点击账号密码登陆
    page.ele('xpath://*[@id="account"]/div[2]/div[2]/div/div[1]/ul[1]/li[2]').click()

    # 输入账号和密码
    page.ele('xpath://*[@id="username"]').input('17263498234')
    page.ele('xpath://*[@id="password"]').input('17263498234')

    # 点击登陆
    page.ele('xpath://*[@id="account"]/div[2]/div[2]/div/div[2]/div[1]/div[4]/a').click()

    # 等待让滑块加载出来
    time.sleep(2)

    # 删除之前的图片
    delete_files_in_directory('./data/images')
    delete_folder('./runs/detect/')

    # 对整页截图并保存
    page.get_screenshot(left_top=(754,294),right_bottom=(1114,664),name='blok.jpg',path='./data/images')

    # 获取当前位置
    location = get_location()

    # 滑动滑块,位置为目标距离减去滑块起始距离
    action(location-40)


if __name__ == '__main__':
    login_page()

结果展示

相关推荐
深度学习的奋斗者6 分钟前
YOLOv8+注意力机制+PyQt5玉米病害检测系统完整资源集合
python·深度学习·yolo
FL16238631292 小时前
[数据集][目标检测]中国交通标志TT100K检测数据集VOC+YOLO格式7962张45类别
人工智能·yolo·目标检测
Jumbuck_105 小时前
YOLOv8-pose+streamlit 实现人体关键点检测/姿态估计系统
python·深度学习·yolo·计算机视觉·姿态估计·关键点检测·健身
宇来风满楼2 天前
YOLO-World
人工智能·深度学习·算法·yolo·机器学习·dnn
数据集_深度学习2 天前
肺结节检测-目标检测数据集(包括VOC格式、YOLO格式)
人工智能·深度学习·yolo·目标检测·计算机视觉
DB_UP2 天前
YOLOv5物体检测
图像处理·python·yolo·计算机视觉
Trisyp2 天前
目标检测系列(一)什么是目标检测
人工智能·yolo·目标检测
小楼先森2 天前
【目标检测】隐翅虫数据集386张VOC+YOLO
人工智能·yolo·目标检测
FL16238631292 天前
[数据集][目标检测]基于yolov5增强数据集算法mosaic来扩充自己的数据集自动生成增强图片和对应标注无需重新标注
yolo·目标检测·计算机视觉