你是否曾想过，在成千上万的监控视频中，如何让计算机自动识别出打架、闯入、徘徊等异常事件？这正是视频异常检测（Video Anomaly Detection, VAD） 所要解决的核心问题。随着深度学习技术的飞速发展，VAD 已成为计算机视觉领域的热点研究方向，并在智能安防、自动驾驶、内容审核等领域展现出巨大应用潜力。
今天，我们就基于深度学习的 VAD 方法进行了全面梳理与总结，看看 AI 如何让视频监控变得更智能。
什么是视频异常检测？
异常，指的是偏离正常、标准或预期的事物。在视频中，异常可能表现为异常行为（如突然奔跑、打架）或异常事件（如车辆逆行、物品遗留）。VAD 的目标就是自动识别出这些"不寻常"的画面。
传统的 VAD 方法通常分为两步：先提取手工设计的特征，再设计分类器进行判断。但这种方式依赖专家经验，难以应对复杂多变的真实场景。
随着深度学习的兴起，VAD 进入了新的发展阶段。如图1所示，近十年来相关论文数量持续快速增长，尤其是在 IEEE Xplore 和 Google Scholar 中，VAD 相关研究呈现出爆发式增长。
同时，检测性能也在不断提升。如图2所示，在半监督和弱监督设置下，各数据集的检测性能（AUC 指标）呈稳步上升趋势，表明算法在不断进步。
五种监督模式：你知道几种？
根据训练时使用的标注信息不同，VAD 可分为以下五种模式：
- 半监督 VAD
特点：仅使用正常样本进行训练。
优点：无需收集罕见的异常样本。
缺点：容易将未见过但正常的样本误判为异常。
- 弱监督 VAD
特点：训练视频只有视频级标签（正常/异常），没有具体发生时间。
优点：标注成本低。
缺点：算法设计复杂，容易"盲猜"。
- 全监督 VAD
特点：每个异常都有精确的时间段标注。
优点：检测性能高。
缺点：标注成本极高，现实中难以大规模应用。
- 无监督 VAD
特点：完全无需标注，直接从未标注视频中检测异常。
优点：无需标注，适用性广。
缺点：检测准确率相对较低。
- 开放集监督 VAD
特点：训练时已知部分异常类型，但测试时可能出现从未见过的异常。
优点：更贴近真实开放环境。
缺点：需要设计专门机制来识别未知异常。
图3直观对比了这五种任务的区别。
方法体系：AI 是如何"看"视频的？
- 半监督 VAD：学习"正常"的样子
由于只有正常样本，模型通常通过自监督学习来构建"正常模式"。常见方法包括：
重建：训练一个自编码器，让其学会重构正常视频。异常视频通常难以被良好重构。
预测：让模型预测未来帧，正常事件通常可预测，异常事件则难以预测。
视觉完形填空：随机遮挡部分帧，让模型补全，以此学习时空上下文。
图4展示了半监督 VAD 的系统化分类体系。
- 弱监督 VAD：从"视频级标签"中定位异常
弱监督方法通常借助多示例学习（MIL） 机制，从长视频中挖掘出最可能是异常的片段。近年来，一些方法还引入两阶段自训练、时序建模、时空建模等策略提升性能。
- 无监督 VAD：完全"自力更生"
无监督方法不依赖任何标注，常见思路包括：
伪标签法：先通过某种方式生成伪标签，再迭代优化。
变化检测：检测视频中是否出现分布变化。
因果推断：从因果角度建模正常与异常的关系。
- 开放集与少样本 VAD：应对未知异常
这类方法旨在识别训练中未出现的异常。常见技术包括：
边际学习：在特征空间中拉开正常与异常的距离。
基于大模型的方法：利用视觉-语言模型（如 CLIP）进行零样本或开放词汇检测。
少样本适应：仅用少量样本快速适应新场景。
图10展示了六种典型的开放集监督 VAD 方法流程。
未来方向：VAD 将走向何方？
- 构建更全面的基准数据集
当前数据集规模小、模态单一。未来需要：
- 大规模数据： 更长、更丰富的视频内容。
- 多模态融合： 结合视觉、音频、红外等多模态信息。
- 多视角与第一视角： 支持多摄像头、第一人称视角等更真实场景。
- 迈向开放世界
现实世界异常层出不穷，模型需具备：
- 开放词汇检测： 能理解并检测未知类别的异常。
- 增量学习： 持续学习新异常而不遗忘旧知识。
- 拥抱大模型
预训练大模型（如 CLIP、LLM）为 VAD 带来新机遇：
- 语义理解： 结合文本描述提升异常解释能力。
- 零样本检测： 无需训练即可检测新异常。
- 可解释性 VAD
让 AI 不仅检测异常，还能"说"出为什么：
- 规则推理： 结合知识图谱、大语言模型进行逻辑推理。
- 可视化定位： 在像素级标注异常区域，提升可解释性。
结语
视频异常检测正朝着更智能、更开放、更可解释的方向发展。从仅使用正常样本的半监督学习，到应对未知异常的开放集检测，再到结合大模型的多模态理解，VAD 的技术演进不断拓展其应用边界。
未来，随着数据规模的扩大、算法能力的提升以及多模态融合的深入，VAD 将在安防、交通、医疗等领域发挥更加关键的作用，真正实现"让监控更智能"。