yolov5实现游戏图像识别与后续辅助功能

YOLOv5 是基于深度学习的目标检测算法，优势是实时性强、能识别多目标、抗光影干扰，适合 FPS 游戏中敌人、武器、爆头点等复杂目标识别。整体流程：​

二、第一步：YOLOv5 游戏目标训练（关键前提）​需先训练适配游戏场景的 YOLOv5 模型，识别敌人、爆头点等目标：​

1. 数据准备​

• 截图采集：在游戏中截取 100-500 张包含目标（如敌人头部、身体）的图片（窗口化 / 无边框模式），覆盖不同距离、光影、姿势。

• 标注数据：用 LabelImg 工具标注目标，格式选择 YOLO（txt 文件），标签定义如 0:enemy_head（敌人头部）、1:enemy_body（敌人身体）。

• 数据集划分：按 8:1:1 拆分训练集、验证集、测试集，放入 YOLOv5 的 datasets/游戏名/ 目录。

2. 配置 YOLOv5 训练参数​

• 下载 YOLOv5 源码（GitHub地址），安装依赖：pip install -r requirements.txt。

• 复制 models/yolov5s.yaml 为 yolov5_game.yaml，修改 nc: 2（目标类别数，如敌人头部 + 身体 = 2 类）。

• 复制 data/coco128.yaml 为 data/game.yaml，修改：

3. 训练模型​

运行训练命令（按需调整 epochs 和 batch-size）：​

​训练完成后，在 runs/train/exp/weights/ 中获取最佳模型 best.pt。​

4. 模型推理测试​

编写 Python 脚本测试识别效果，输出目标的屏幕坐标（x,y）、置信度：​

​

# detect_game.py
import cv2
import torch
import numpy as np

# 加载YOLOv5模型
model = torch.hub.load('ultralytics/yolov5', 'custom', path='best.pt')  # 替换为你的模型路径
model.conf = 0.5  # 置信度阈值（只保留置信度≥0.5的目标）

def detect_enemy(screen_img):
    """
    输入：屏幕捕获的图像（numpy数组）
    输出：识别到的目标列表 [{'x':中心x, 'y':中心y, 'conf':置信度, 'cls':类别}]
    """
    results = model(screen_img)
    targets = []
    # 解析识别结果
    for *box, conf, cls in results.xyxy[0]:
        x1, y1, x2, y2 = map(int, box)
        center_x = (x1 + x2) // 2  # 目标中心x坐标
        center_y = (y1 + y2) // 2  # 目标中心y坐标
        targets.append({
            'x': center_x,
            'y': center_y,
            'conf': float(conf),
            'cls': int(cls)
        })
    # 按置信度排序（优先锁定最清晰的目标）
    targets.sort(key=lambda t: t['conf'], reverse=True)
    return targets

# 测试：捕获屏幕并识别（需安装mss用于屏幕捕获）
from mss import mss
sct = mss()
monitor = {"top": 0, "left": 0, "width": 1920, "height": 1080}  # 游戏窗口坐标范围

while True:
    # 捕获屏幕画面
    img = np.array(sct.grab(monitor))
    img = cv2.cvtColor(img, cv2.COLOR_BGRA2BGR)  # 转换颜色空间
    # 识别目标
    targets = detect_enemy(img)
    if targets:
        print("识别到目标：", targets[0])  # 输出最优先目标
    # 按q退出
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
cv2.destroyAllWindows()

三、第二步：易语言调用 YOLOv5 识别结果​

易语言无法直接运行 PyTorch 模型，需通过 进程通信 让 Python（YOLOv5）将识别结果传递给易语言，推荐两种方式：​

方式 1：共享内存（高效实时，推荐）​

Python 将目标坐标写入 Windows 共享内存，易语言读取共享内存数据，延迟＜10ms，适合 FPS 实时瞄准。​

（1）Python 端：写入共享内存​

安装依赖：pip install pywin32​

​while True:​

img = np.array(sct.grab(monitor))​

img = cv2.cvtColor(img, cv2.COLOR_BGRA2BGR)​

targets = detect_enemy(img) # 调用第一步的识别函数​

write_target_to_mem(targets[0] if targets else None)​

if cv2.waitKey(1) & 0xFF == ord('q'):​

break​

​

# 关闭资源​

win32file.UnmapViewOfFile(p_buf)​

win32file.CloseHandle(h_map_file)​

​

（2）易语言端：读取共享内存​

通过 Windows API 读取共享内存数据，核心代码：​

​.支持库 spec​

​// 声明共享内存相关API​

.DLL命令 CreateFileMappingA, 整数型, "kernel32.dll", "CreateFileMappingA"​

.参数 hFile, 整数型​

.参数 lpFileMappingAttributes, 整数型​

.参数 flProtect, 整数型​

.参数 dwMaximumSizeHigh, 整数型​

.参数 dwMaximumSizeLow, 整数型​

.参数 lpName, 文本型​

​.DLL命令 MapViewOfFile, 整数型, "kernel32.dll", "MapViewOfFile"​

.参数 hFileMappingObject, 整数型​

.参数 dwDesiredAccess, 整数型​

.参数 dwFileOffsetHigh, 整数型​

.参数 dwFileOffsetLow, 整数型​

.参数 dwNumberOfBytesToMap, 整数型​

​.DLL命令 CopyMemory, 整数型, "kernel32.dll", "RtlMoveMemory"​

.参数 Destination, 整数型​

.参数 Source, 整数型​

.参数 Length, 整数型​

​.DLL命令 UnmapViewOfFile, 逻辑型, "kernel32.dll", "UnmapViewOfFile"​

.参数 lpBaseAddress, 整数型​

​方式 2：Socket 网络通信（跨设备 / 调试方便）​

Python 作为服务端，易语言作为客户端，通过 TCP 发送识别结果，适合调试或非实时场景，核心代码简化：​

• Python 端（TCP 服务端）：用 socket 库监听端口，持续发送目标 JSON 数据。

• 易语言端（TCP 客户端）：用 网络通讯支持库 连接服务端，接收并解析 JSON。

四、第三步：易语言衔接自动化操作（瞄准 / 射击）​

结合 YOLOv5 识别到的目标坐标，实现平滑瞄准和射击，核心代码：​

​.版本 2​

.支持库 eAPI​

​// 声明鼠标操作API（同之前代码）​

.DLL命令 SetCursorPos, 逻辑型, "user32.dll", "SetCursorPos"​

.参数 X, 整数型​

.参数 Y, 整数型​

​.DLL命令 mouse_event, 逻辑型, "user32.dll", "mouse_event"​

.参数 dwFlags, 整数型​

.参数 dx, 整数型​

.参数 dy, 整数型​

.参数 cButtons, 整数型​

.参数 dwExtraInfo, 整数型​

​.常量 MOUSEEVENTF_LEFTDOWN, "2"​

.常量 MOUSEEVENTF_LEFTUP, "4"​

​// 全局变量​

.全局变量 脚本开关, 逻辑型, , "假"​

.全局变量 游戏窗口偏移X, 整数型 // 游戏窗口左上角X坐标（避免全屏偏移）​

​