你是否曾想过，在成千上万的监控视频中，如何让计算机自动识别出打架、闯入、徘徊等异常事件？这正是视频异常检测（Video Anomaly Detection, VAD） 所要解决的核心问题。随着深度学习技术的飞速发展，VAD 已成为计算机视觉领域的热点研究方向，并在智能安防、自动驾驶、内容审核等领域展现出巨大应用潜力。
今天，我们就基于深度学习的 VAD 方法进行了全面梳理与总结，看看 AI 如何让视频监控变得更智能。
一、什么是视频异常检测？
异常，指的是偏离正常、标准或预期的事物。在视频中，异常可能表现为异常行为（如突然奔跑、打架）或异常事件（如车辆逆行、物品遗留）。VAD 的目标就是自动识别出这些"不寻常"的画面。
传统的 VAD 方法通常分为两步：先提取手工设计的特征，再设计分类器进行判断。但这种方式依赖专家经验，难以应对复杂多变的真实场景。
随着深度学习的兴起，VAD 进入了新的发展阶段。如图1所示，近十年来相关论文数量持续快速增长，尤其是在 IEEE Xplore 和 Google Scholar 中，VAD 相关研究呈现出爆发式增长。
同时，检测性能也在不断提升。如图2所示，在半监督和弱监督设置下，各数据集的检测性能（AUC 指标）呈稳步上升趋势，表明算法在不断进步。
二、五种监督模式：你知道几种？
根据训练时使用的标注信息不同，VAD 可分为以下五种模式：
半监督 VAD
特点：仅使用正常样本进行训练。
优点：无需收集罕见的异常样本。
缺点：容易将未见过但正常的样本误判为异常。
弱监督 VAD
特点：训练视频只有视频级标签（正常/异常），没有具体发生时间。
优点：标注成本低。
缺点：算法设计复杂，容易"盲猜"。
全监督 VAD
特点：每个异常都有精确的时间段标注。
优点：检测性能高。
缺点：标注成本极高，现实中难以大规模应用。
无监督 VAD
特点：完全无需标注，直接从未标注视频中检测异常。
优点：无需标注，适用性广。
缺点：检测准确率相对较低。
开放集监督 VAD
特点：训练时已知部分异常类型，但测试时可能出现从未见过的异常。
优点：更贴近真实开放环境。
缺点：需要设计专门机制来识别未知异常。
图3直观对比了这五种任务的区别。
三、方法体系：AI 是如何"看"视频的？
半监督 VAD：学习"正常"的样子
由于只有正常样本，模型通常通过自监督学习来构建"正常模式"。常见方法包括：
重建：训练一个自编码器，让其学会重构正常视频。异常视频通常难以被良好重构。
预测：让模型预测未来帧，正常事件通常可预测，异常事件则难以预测。
视觉完形填空：随机遮挡部分帧，让模型补全，以此学习时空上下文。
图4展示了半监督 VAD 的系统化分类体系。
弱监督 VAD：从"视频级标签"中定位异常
弱监督方法通常借助多示例学习（MIL） 机制，从长视频中挖掘出最可能是异常的片段。近年来，一些方法还引入两阶段自训练、时序建模、时空建模等策略提升性能。
无监督 VAD：完全"自力更生"
无监督方法不依赖任何标注，常见思路包括：
伪标签法：先通过某种方式生成伪标签，再迭代优化。
变化检测：检测视频中是否出现分布变化。
因果推断：从因果角度建模正常与异常的关系。
开放集与少样本 VAD：应对未知异常
这类方法旨在识别训练中未出现的异常。常见技术包括：
边际学习：在特征空间中拉开正常与异常的距离。
基于大模型的方法：利用视觉-语言模型（如 CLIP）进行零样本或开放词汇检测。
少样本适应：仅用少量样本快速适应新场景。
图10展示了六种典型的开放集监督 VAD 方法流程。
四、未来方向：VAD 将走向何方？
构建更全面的基准数据集
当前数据集规模小、模态单一。未来需要：
-
**大规模数据：**更长、更丰富的视频内容。
-
**多模态融合：**结合视觉、音频、红外等多模态信息。
-
**多视角与第一视角：**支持多摄像头、第一人称视角等更真实场景。
迈向开放世界
现实世界异常层出不穷，模型需具备：
-
**开放词汇检测：**能理解并检测未知类别的异常。
-
**增量学习：**持续学习新异常而不遗忘旧知识。
拥抱大模型
预训练大模型（如 CLIP、LLM）为 VAD 带来新机遇：
-
**语义理解：**结合文本描述提升异常解释能力。
-
**零样本检测：**无需训练即可检测新异常。
可解释性 VAD
让 AI 不仅检测异常，还能"说"出为什么：
-
**规则推理：**结合知识图谱、大语言模型进行逻辑推理。
-
**可视化定位：**在像素级标注异常区域，提升可解释性。
结语
视频异常检测正朝着更智能、更开放、更可解释的方向发展。从仅使用正常样本的半监督学习，到应对未知异常的开放集检测，再到结合大模型的多模态理解，VAD 的技术演进不断拓展其应用边界。
未来，随着数据规模的扩大、算法能力的提升以及多模态融合的深入，VAD 将在安防、交通、医疗等领域发挥更加关键的作用，真正实现"让监控更智能"。
