通过网盘分享的文件(安装包和手册)：iNeuOS_Vision
链接: https://pan.baidu.com/s/19GrUoWXnG2fnNhesNDJ5Qg?pwd=unmy 提取码: unmy
一、概述
1.1 应用场景
在装配、检验、维修、包装 等固定工位，作业人员需要按既定工序逐步完成操作。摄像头视角固定、步骤存在明确先后关系，每个动作持续数秒。系统需要自动判断当前步骤是否完成，用于防错、节拍统计、过程追溯与异常告警。
这类场景通常已经具备两类数据资产：
** 一是 YOLO 目标检测模型及标注数据，用于识别手部、零件、工具等目标；**
** 二是按时间顺序采集的步骤样本图片，用于描述从一个步骤到当前步骤的过程。应用流程图：**
1.2 要解决的问题
- **单帧判断缺少过程证据：**纯 YOLO 只回答这一帧有没有某个类别，不掌握动作是否真正完成，遮挡或瞬时误检即可造成误确认或漏确认。
- **阈值调不出时序语义：**步骤置信度与 IoU 只能调整单帧检出灵敏度，无法区分动作未开始、进行中与已完成。
- **现场稳定性不足：**相似动作、同类多目标、光照变化会让单帧判定抖动，只能依赖人工经验反复调参。
- **训练与上线口径易漂移：**构建数据集与在线推理若使用不同的置信度、IoU 或推理尺寸，特征分布不一致，模型效果不可复现。
1.3 解决方案与优势
方案在原有 YOLO 应用之上增加一层时序判断：YOLO 对每帧输出目标类别与位置，系统将其装配为帧级特征，包括每个类别的中心点、宽高、存在性与位移速度；特征按时间顺序滑窗送入增强模型，由模型预测当前步骤，连续多个窗口命中同一步骤后才确认事件。
增强模型只使用历史帧、不引入未来信息，适配实时视频流；窗口长度、滑窗步长与抽帧帧率共同定义动作的时间尺度。检测置信度、IoU 与推理尺寸随训练写入模型元数据，构建数据集和在线推理共用同一套值，从机制上避免训练与上线口径不一致。
- **抑制单帧抖动：**从"某一帧看到"升级为"连续一段时间都在做"，并用多窗口概率平滑降低偶发误检的影响。
- **复用既有资产：**沿用现有 YOLO 模型、标注数据与步骤样本，不新增硬件，也不改变现有摄像头接入方式。
- **模板级共享：**增强模型按模板训练，多台摄像头只做启用开关，避免逐路重复训练与维护。
- **失败可回退：**模型缺失、契约不符或加载失败时自动回退原类别确认逻辑，并产生回退告警，不阻断生产。
- **低侵入集成：**SOP 状态机、告警、监测与行为轨迹保持原链路，增强模型仅作为新增事件来源接入。
| 维度 | 仅 YOLO 类别确认 | YOLO + 增强模型 |
|---|---|---|
| 判定依据 | 单帧是否出现指定类别 | 连续窗口内目标位置、尺寸与速度变化 |
| 抗抖动 | 弱，单帧误检即计数 | 强，多窗口连续确认并做概率平滑 |
| 动作完整性 | 无法判断过程 | 可区分未开始、进行中与完成 |
| 参数口径 | 步骤置信度与 IoU | 检测口径 + TCN 概率确认门限 |
| 部署成本 | 单模型 | 复用 YOLO，新增模板级 TCN 产物 |
| 失败影响 | --- | 自动回退类别确认，不阻断生产 |
表 1 YOLO 类别确认与增强模型 增强对比
二、应用步骤
2.1 SOP 模板配置
模板配置决定识别什么、按什么时间尺度识别，配置步骤如下：
在"编辑模板 → 步骤管理"维护步骤：步骤编码、名称、YOLO 模型、样本数据集、模型类别（可多选，留空按步骤编码匹配）、置信度、IoU、确认帧数、超时时间、是否必需、是否允许重复。
选择模板特征YOLO模型。所有步骤必须共用同一个特征模型，保存模板时后端会强制同步，保证特征维度与类别顺序一致。
在"模型训练"页配置参数：窗口长度、滑窗步长、训练帧率、训练轮数、批大小、学习率、卷积通道、dropout、训练设备、检测置信度、检测 IoU、推理尺寸与是否重建数据集。
执行训练。系统先按检测口径对样本逐帧推理并构建数据集，再训练增强模型，最后生成模型与元数据；元数据包括权重、模型元数据、训练日志、数据集元数据与配置。
在"模型验证"页查看指标并逐帧回放。验证支持目录或单张图片，检测口径默认跟随模型记录值，也可临时调整做对比；指标用于参考，最终以现场灰度结果为准。
- **时间尺度一致：**窗口长度、步长与训练帧率决定模型看到的动作时长，需要与摄像头实际抽帧保持一致。
- **口径同源：**检测置信度、IoU、推理尺寸写入模型元数据；修改后必须重训，在线推理按模型记录值执行。
- **自动失效：**训练指纹包含特征模型、类别表、步骤类别、数据集内容、窗口参数与检测口径，任一变化都会使缓存数据集失效并重建。
- **样本建议：**总窗口数不少于 50、单步不少于 20、无动作背景（idle）占比不低于 10%；训练前的质量告警会给出提示。
- **生效方式：**训练完成后生成新模型，运行中的摄像头需重启 worker 后使用新模型。
2.2 SOP 编辑摄像头
摄像头配置决定在哪路视频上启用、以什么频率识别。
- 选择模板，填写 RTSP 地址、任务名称与位置、抽帧帧率、确认帧数（生效时为连续窗口数）、告警抑制时间、告警级别、数据标签及场景描述。
- 按需启用行为轨迹：配置主体模型、标注模型、主体类别、ROI 与预览样式。轨迹与 增强模型相互独立；增强模型确认的事件会作为轨迹切段边界。
- 启用增强模型识别。前置条件：模板模型已训练且契约通过、抽帧帧率不低于 5（建议 10）、帧率不高于训练帧率的两倍；不满足时保存会被拒绝。
- 使用测试预览验证。增强模型生效时，测试推理按模型记录的检测口径执行，确保测试通过即上线可用。
- 保存并启用。运行监控中可查看增强模型状态：是否生效、回退原因、当前预测与窗口推理尺寸。
- **失败回退：**已启用但模型失效时，worker 自动回退类别确认并上报告警，原因写入运行状态。
- **频率边界：**抽帧频率过高会压缩窗口真实时长，过低会拉长窗口时长，两者都会让模型看到训练时未出现的时序尺度。
2.3 SOP 操作监测
监测页用于确认识别是否稳定、事件是否可信，也是问题闭环的入口。
- 实时画面：显示当前步骤识别框、行为轨迹与步骤 HUD；无画面时给出具体原因，而不是留空。
- 运行状态：查看当前步骤、TCN 预测步骤与置信度、连续确认计数，以及回退原因与推理节奏提示。
- 统计与追溯：按轮次查看节拍与完成情况，查询步骤事件与轨迹段，回放轨迹并查看事件截图。
- 异常闭环：出现误判或漏判时，先查运行状态与验证日志，再补充样本（尤其是无动作背景帧）、调整窗口或检测口径，重训并验证后灰度上线；持续观察实际推理帧率、确认延迟、误判率与未预期类别告警量。
由此形成"YOLO 看得见、增强模型 看得懂、监测看得住"的分层能力：检测负责发现目标，时序模型负责理解过程，监测与告警负责闭环处置。
参考文章
（1）硬件网关：https://mp.weixin.qq.com/s/iKMqn62YIhBlXjGtY2wKXQ。
（2）物联网（IOT）：https://mp.weixin.qq.com/s/5u4L8fItaFpIbVYOlxbmGg。
（3）视觉分析（Vision）：https://mp.weixin.qq.com/s/SiiuXTTGplTAERRYyCmGCQ。
（4）大模型智库（AiMind）：https://mp.weixin.qq.com/s/SH_q2k_zbQ-pcd05zj86-g。
（5）大模型智能问数（AiInsight）: https://mp.weixin.qq.com/s/A1fIQq_w9c8SW9aEWVIsgw。
（6）小i助手：https://mp.weixin.qq.com/s/5UCoYsDAbfFP-ZI2sj_QBg。
（7）视觉模型：https://mp.weixin.qq.com/s/Gq74ITDfEwK88jt8b--1PA。
物联网&大数据技术 QQ群：54256083
物联网&大数据项目 QQ群：727664080
QQ：504547114
