SOP合规分析+多模态 VLM 工况理解，工业作业复杂工况识别与智能理解实践

摘要

传统工业机器视觉大多聚焦人员、物体、场景等目标的检测定位，仅能实现简单对象告警。尽管基于目标检测能够实现SOP操作时序流程的合规性，但是对于缺少对人员、设备等环境的工况理解。

本文基于 YOLO 目标检测与多模态 VLM 视觉模型双引擎协同架构，结合 iNeuOS_Vision 视觉分析平台实践，将目标识别能力与画面工况语义理解深度融合，实现工业现场 SOP 全流程合规校验、隐性风险工况识别、告警处置与模型自迭代闭环。

可广泛应用于烟草、造纸、机加工等工业领域，实现从 "结果检测" 升级为 "作业过程智能管控"。

1 背景

1.1 行业应用现状

在工业生产环节制定标准化 SOP 作业规范，用以约束人员操作流程、规避违章作业带来安全与质量风险。

传统工业 AI 视觉以 YOLO 类目标检测模型为主，擅长识别明火、人员、设备等实体对象。但面对动态工序先后顺序、物体空间位置风险、人机交互隐性危险工况时存在短板。例如工人跳步操作、人员处于重物夹缝、场内叉车间距不足等场景，没有固定检测标签，单纯目标检测很难识别这类复杂工况风险。

多模态 VLM 视觉语言大模型的出现，让 AI 具备图像语义推理能力，能够读懂画面背后作业逻辑与潜在风险。把 YOLO 实时检测（SOP操作编排）和 VLM 工况理解相结合，成为破解工业 SOP 监管、复杂隐性风险识别的有效技术路径。

典型业务落地场景：

工位 SOP 标准化作业校验，识别操作错序、漏步骤、超时等违规行为；
安全生产风险识别，识别人员挤压风险、人机协同风险等传统检测难以发现的隐性工况；
自然语言驱动智能巡检，通过文字指令对多路监控做画面语义筛查；
工艺过程监控，提前发现工序操作不合规，规避后续质量事故。

1.2 现存业务痛点

只能识别对象，不能理解工况：传统计算机视觉仅完成目标框选，无法判断物体之间空间关系、作业时序，不能校验 SOP 流程是否被遵守；
误报、漏报问题突出：车间光线变化、现场杂物干扰造成大量误告警；新型未知工况不在原有样本库内，产生漏报；
缺少业务到模型的迭代闭环：告警仅作为处置提示，告警产生的图像、文本样本没有回流训练，模型能力无法跟随现场工况持续进化；
SOP 数字化落地门槛高：纸质版 SOP 很难直接转化机器识别规则，工序动作、物料状态、步骤时序难以被传统算法解析。

1.3 方案创新性与实用性

双引擎分工协同创新：轻量化 YOLO 保障毫秒级目标定位跟踪，VLM 大模型承担高阶工况语义推理，兼顾系统实时性能与复杂场景理解能力；
构建完整业务‑数据‑模型闭环：现场告警沉淀误报、漏报、边界工况样本，回流至 YOLO 标注库与 VLM 微调数据集，实现 AI 模型自我迭代优化；
SOP 模板可视化编排，低代码落地：可视化配置作业步骤、置信度、超时阈值，无需深度算法开发，快速将纸质 SOP 转化为机器可识别流程；
支持私有化内网部署，全部图像、视频、训练数据保存在本地，满足工业企业数据安全管控要求。

2 系统特点

依托 iNeuOS_Vision 视觉分析平台，并行运行 YOLO 目标检测链路与多模态 VLM 语义理解链路，核心特点如下：

1）双引擎差异化协同推理 ：YOLO 负责人员、设备、物料等实体高速检测；VLM 负责场景语义、作业时序、隐性风险研判。支持两种联动模式：YOLO 检出触发 VLM 二次复核 ，降低算力消耗；定时独立 VLM 全画面巡检，挖掘 YOLO 无法识别的隐性工况风险。

2）告警驱动的样本自进化闭环 正向链路：摄像头视频流输入，经双模型推理输出实时识别、SOP 分析、智能巡检告警；反向链路：告警库中的图像 + 文本样本，导出为 YOLO 标注样本与 VLM 微调数据集，人工完成样本修正标注后重新训练模型，持续降低误报漏报。样本来源覆盖误报案例、未知新工况、合规 / 不合规边界场景，是模型迭代最核心的数据资产。

3）SOP 流程低代码模板化配置：可视化编排完整作业步骤序列，配置每一步最小置信度、确认帧数、超时阈值、步骤是否允许重复，支持目标检测、关键点姿态估计多种任务类型，快速上线不同工位 SOP 合规分析任务。

4）告警来源可追溯区分：每一条告警记录明确区分是 YOLO 目标检测输出，还是 VLM 语义理解输出，方便运维人员评估两类模型效果，快速定位问题根因。

5）VLM 领域本地化微调能力：平台内置 VLM 数据集管理、训练任务模块，基于工厂真实现场样本做 LoRA 微调，把通用大模型适配为本企业专属工业领域模型，提升工况识别准确率。

3 系统功能介绍

系统划分为 YOLO 目标检测链路、多模态 VLM 工况理解链路、SOP 操作分析模块、告警与样本闭环模块四大板块。

3.1 YOLO 目标检测链路功能

YOLO 链路完成从样本准备、训练、测试到实时推理全流程，为 SOP 分析提供基础目标、关键点识别能力。

样本标注管理：支持目标检测、关键点姿态估计、实例分割标注项目创建，可上传图片进行人工标注、AI 辅助标注，导出标准化数据集。
模型训练管理：配置训练轮次、图像尺寸、批大小等参数，启动训练任务，查看训练指标日志；训练完成导入模型管理库统一维护。
模型测试验证：支持静态图片样本测试、摄像头实时跟踪测试，验证目标、关键点识别效果。
实时识别分析：接入 RTSP 视频流，配置置信度、IoU 阈值、连续命中次数、告警等级，调用 YOLO 模型持续推理，检测事件统一推送至告警管理。

模型训练：

3.2 多模态 VLM 模型管理与工况理解功能

VLM 模块实现模型接入、数据集管理、微调训练、复杂工况语义推理。

VLM 模型配置管理：系统设置中可接入 Ollama 外部模型或平台内部微调产出模型，设置系统默认推理模型。
VLM 数据集管理：支持人工上传图文样本，也可以直接将告警记录一键导出为 VLM 数据集；编辑样本标签，修正模型错误判断的工况样本。
VLM 模型微调训练：创建 VLM 训练任务，配置基础模型、训练轮数、学习率、LoRA 参数、GPU 硬件资源，勾选数据集执行微调；训练完成注册进系统模型库投入业务运行。
工况语义推理应用

智能巡检：输入自然语言巡检指令，系统对多路摄像头画面自动语义筛查，识别画面潜在风险；
摄像头实时语义分析
- 识别检出：YOLO 检测目标后，触发 VLM 做二次语义研判；
- 定时获取：不依赖 YOLO 检测结果，按周期对完整画面做语义解析，识别人员夹缝、车辆间距过小这类没有明确检测对象的隐性安全工况。

模型配置：

工况理解：

3.3 SOP 操作分析核心功能

SOP 模块完成标准作业流程数字化配置、实时监控、过程留痕与违规告警。SOP 模板管理界面如下图：

SOP 模板管理：可视化新建 SOP 流程模板，按照真实作业顺序编排步骤，配置步骤编码、步骤名称、最小置信度、确认帧数、超时时间、是否允许重复步骤等参数，支持姿态关键点、目标检测任务类型。
SOP 分析任务配置：新建 SOP 摄像头任务，接入现场视频流，选择识别模型、绑定 SOP 流程模板，配置抽帧频率、置信度阈值、告警级别。SOP 运行监控配置如下图：

SOP 运行监控：页面直观展示任务实例运行状态、当前执行步骤、已完成步骤、处理帧数、最近事件、实时违规告警，直观掌握工位作业推进情况。

SOP 日志记录
- SOP 告警日志：记录步骤超时、流程错乱等违规告警，留存告警图片；
- SOP 事件日志：完整记录每一步识别时间、置信度、截图，完整复现作业全流程，用于问题回溯和样本复盘。

3.4 告警管理与样本闭环回流

告警管理是业务与模型迭代的枢纽，汇总 YOLO 检测告警、VLM 语义告警、SOP 流程告警全部事件。

告警统一展示：包含告警时间、告警源、告警类别、告警描述、告警图片，支持筛选、导出；
支持单条、批量告警记录重新执行 VLM 语义理解，复核工况风险；
样本回流导出：告警图像文本可一键导出到 YOLO 样本标注模块或者 VLM 数据集；人工修正标注后重新训练模型，完成模型迭代闭环。

4 实践应用案例

案例一：车间复杂安全生产工况识别

YOLO 可以识别画面中的人员、叉车、升降平台，但无法判断 "人员处于两卷重物之间、车间或人车间距过小" 这类隐性风险。开启 VLM 定时语义理解，直接对完整监控画面做语义解析，识别上述安全风险生成告警；告警记录导出成为 VLM 数据集，人工修正样本标签后做领域微调；微调后的模型重新上线，对车间人机交互风险工况识别能力显著提升。