学生课堂行为智能检测系统 | 课堂行为检测 YOLOv13 DeepSeek 智慧教育 行为识别 9178期

Deepseek融合YOLO学生课堂行为智能检测系统 | 课堂行为检测 YOLOv13 DeepSeek 智慧教育 行为识别 9178期

系统概述

本系统基于 YOLOv13 深度学习模型 ,融合 DeepSeek、Qwen 大语言模型 与 Pytorch、Flask、SpringBoot、Vue3、MySQL 等技术,构建了一套支持图片、视频、摄像头 三种检测方式的课堂行为智能分析平台。系统可识别多种课堂行为,支持批量检测、AI 分析与 PDF 报告导出,适配智慧教育、教学评估及课堂管理场景。

系统核心信息

项目 详细说明
检测类别 共 6 类:写字、听讲、看书、转头、站立、小组讨论
核心技术 YOLOv13 + DeepSeek/Qwen + Pytorch + Flask + SpringBoot + Vue3
检测模式 图片检测、视频检测、摄像头实时检测、批量检测
系统架构 前后端分离(Vue3 + SpringBoot + Flask + MySQL)
应用价值 1. 智慧教育 :支撑课堂行为的自动识别与统计,辅助教学评估。 2. 教学管理 :为教师提供课堂参与度、专注度等量化数据。 3. AI 分析 :结合大语言模型生成课堂分析报告与教学建议。 4. 算法研发:为行为识别、多类别目标检测等视觉任务提供完整系统框架。

技术栈

层次 技术选型
前端 Vue3、Element-Plus、TypeScript
后端 SpringBoot、MyBatis-Plus、Flask
深度学习 YOLOv13、Pytorch
数据库 MySQL
视频处理 FFmpeg
AI 分析 DeepSeek、Qwen

系统功能

1. 多模态检测支持

  • 图片检测:单张图片上传识别
  • 视频检测:上传视频,逐帧分析并输出标注视频
  • 摄像头实时检测:连接摄像头,实时输出检测结果
  • 批量检测:支持多文件批量上传与处理

2. 课堂行为识别

  • 可识别写字、听讲、看书、转头、站立、小组讨论等行为
  • 支持行为统计与分布分析

3. AI 智能分析

  • 结合 DeepSeek、Qwen 等大模型进行 AI 分析
  • 提供课堂表现分析与教学建议
  • 检测结果可导出 PDF

4. 用户管理

  • 支持分用户管理
  • 检测记录按用户隔离

5. 界面个性化

  • 界面简洁美观
  • 支持主题颜色、布局和组件大小的个性化定制

快速开始(代码示例)

1. 数据集配置文件 (data.yaml)

yaml 复制代码
train: ./dataset/images/train
val: ./dataset/images/val
nc: 6
names: ['writing', 'listening', 'reading', 'turning_head', 'standing', 'group_discussion']

2. YOLOv13 训练代码

python 复制代码
from ultralytics import YOLO

model = YOLO('yolov13n.pt')
model.train(
    data='data.yaml',
    epochs=100,
    imgsz=640,
    batch=16,
    device=0
)

3. Flask 推理与 AI 分析服务

python 复制代码
from flask import Flask, request, jsonify
from ultralytics import YOLO
import cv2
import numpy as np

app = Flask(__name__)
model = YOLO('runs/detect/train/weights/best.pt')

@app.route('/detect', methods=['POST'])
def detect():
    file = request.files['image']
    img = cv2.imdecode(np.frombuffer(file.read(), np.uint8), cv2.IMREAD_COLOR)
    results = model(img)
    detections = []
    for box in results[0].boxes:
        detections.append({
            'class': model.names[int(box.cls[0])],
            'confidence': float(box.conf[0]),
            'bbox': box.xyxy[0].tolist()
        })
    # 调用 DeepSeek/Qwen 生成课堂分析建议
    ai_suggestion = analyze_with_llm(detections)
    return jsonify({'detections': detections, 'suggestion': ai_suggestion})

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000)

4. Vue3 前端检测页面

vue 复制代码
<template>
  <div class="detector-container">
    <el-upload action="/api/detection/image" :on-success="handleSuccess">
      <el-button type="primary">上传图片</el-button>
    </el-upload>
    <div v-if="resultImage" class="result-area">
      <img :src="resultImage" alt="Detection Result" />
      <el-table :data="detections" border>
        <el-table-column prop="class" label="行为类别" />
        <el-table-column prop="confidence" label="置信度" />
      </el-table>
      <el-button @click="exportPDF">导出 PDF 报告</el-button>
    </div>
  </div>
</template>

标签

课堂行为检测 YOLOv13 DeepSeek 智慧教育 行为识别 目标检测 深度学习 计算机视觉

相关推荐
会飞锦鲤20 小时前
基于 RT-DETR 的 PCB 缺陷检测
深度学习·目标检测·计算机视觉·pyqt5·rt-detr·工业质检·pcb缺陷检测
硅谷秋水6 天前
MorphMimic 方法分析
人工智能·机器学习·计算机视觉·机器人
jay神6 天前
基于 YOLOv8 的传送带异物检测系统(Web 版)
前端·人工智能·深度学习·yolo·计算机视觉·计算机毕业设计
jay神9 天前
基于 YOLOv8 的手势识别系统(Web 版)
前端·人工智能·python·深度学习·yolo·计算机视觉·计算机毕业设计
wangxiaoxuan2179 天前
TF2 的原理与使用:把坐标、运动和观测时间一起算清楚
计算机视觉·机器人·科沃斯八界
鱼听禅9 天前
Ubuntu安装YOLOv8进行菌落识别训练
linux·python·yolo·ubuntu
硅谷秋水9 天前
EgoHumanoid‑V2 方法分析
人工智能·机器学习·计算机视觉·语言模型·机器人
BYSJMG9 天前
计算机毕业设计选题推荐:【基于深度学习的车辆损坏严重程度评估方法研究】ResNet50 图像分类
人工智能·深度学习·目标检测·机器学习·计算机视觉·分类·课程设计
BYSJMG9 天前
计算机毕业设计选题推荐|【基于深度学习的电梯电动车违规进入检测研究】YOLO26m+可视化大屏
人工智能·深度学习·神经网络·目标检测·机器学习·计算机视觉·课程设计
硅谷秋水10 天前
将闲科技(LiberAI)提出世界动作模型Liber-0
机器学习·计算机视觉·语言模型·机器人