OpenCV(五十一)：视频前后景分离

概述

前后景分离（Foreground--Background Segmentation）是计算机视觉中的基础问题之一，其核心目标是从视频序列中分离出运动目标（前景）与相对静止的背景。该技术广泛应用于视频监控、智能安防、行为分析、目标检测、视频编码优化等领域。

基本原理

1. 问题定义

给定视频帧序列 It(x,y)，需要判断每个像素点属于：

• 背景（Background）
• 前景（Foreground）

本质是一个逐像素分类问题。

2. 核心思想

前后景分离通常基于以下假设：

1. 背景变化缓慢
2. 前景是短时或突发变化
3. 视频帧在时间维度上具有强相关性

因此，算法的核心是：

建立背景模型 → 与当前帧比较 → 判断是否为前景

3. 基本处理流程

视频输入
   ↓
背景建模
   ↓
前景检测（差分/概率判断）
   ↓
二值前景掩码
   ↓
后处理（滤波、形态学）
   ↓
目标提取

经典前后景分离方法

1. 帧差法（Frame Difference）

原理

计算当前帧与前一帧的像素差值：

超过阈值则认为是前景。

优点

• 实现简单
• 计算速度快
• 对实时性友好

缺点

• 无法检测静止目标
• 对噪声敏感
• 目标轮廓不完整

适用场景

• 快速运动目标检测
• 对精度要求不高的实时系统

2. 背景差分法（Background Subtraction）

原理

维护一幅背景图像 B(x,y)，与当前帧做差：

背景模型会随时间逐渐更新。

优点

• 前景检测较完整
• 能检测慢速运动目标

缺点

• 对光照变化敏感
• 背景初始化困难

OpenCV 内置前后景分离算法

OpenCV 提供了成熟的背景建模器接口 BackgroundSubtractor。

1. MOG（Mixture of Gaussians）

原理

每个像素用 **多个高斯分布（GMM）**建模：

• 常见 K = 3~5
• 背景由权重高、方差小的高斯组成

特点

• 能处理动态背景（如水面、树叶）
• 计算复杂度较高

OpenCV 接口

cv::Ptr<cv::BackgroundSubtractor> mog =
    cv::createBackgroundSubtractorMOG();

2. MOG2（改进版高斯混合模型）

相比 MOG 的改进

• 自适应高斯数量
• 支持阴影检测
• 更稳定的背景更新策略

优点

• 工程中最常用
• 对光照变化有一定鲁棒性

缺点

• 参数较多
• 高噪声场景需调参

OpenCV 示例

cv::Ptr<cv::BackgroundSubtractor> mog2 =
    cv::createBackgroundSubtractorMOG2();

mog2->apply(frame, fgMask);

3. KNN（K-Nearest Neighbors）

原理

对每个像素维护最近 N 个历史样本：

• 与当前像素做距离比较
• 多数近邻为背景则判为背景

优点

• 对周期性背景（树叶、水波）效果好
• 参数直观

缺点

• 内存占用略大
• 对突发光照变化较敏感

OpenCV 示例

cv::Ptr<cv::BackgroundSubtractor> knn =
    cv::createBackgroundSubtractorKNN();

4. python示例

MOG2

import cv2
import numpy as np

def main():
    # 1. 打开视频源
    # cap = cv2.VideoCapture(0)              # 摄像头
    cap = cv2.VideoCapture("test.mp4")       # 视频文件

    if not cap.isOpened():
        print("Error: Cannot open video")
        return

    # 2. 创建背景建模器（MOG2）
    back_sub = cv2.createBackgroundSubtractorMOG2(
        history=500,        # 背景历史长度
        varThreshold=16,    # 前景判定阈值
        detectShadows=True # 是否检测阴影
    )

    # 3. 形态学核
    kernel = cv2.getStructuringElement(
        cv2.MORPH_RECT, (3, 3)
    )

    while True:
        ret, frame = cap.read()
        if not ret:
            break

        # 4. 前后景分离
        fg_mask = back_sub.apply(frame)

        # 5. 去除阴影（MOG2 中阴影像素值为 127）
        _, fg_mask = cv2.threshold(
            fg_mask, 200, 255, cv2.THRESH_BINARY
        )

        # 6. 形态学去噪
        fg_mask = cv2.morphologyEx(
            fg_mask, cv2.MORPH_OPEN, kernel, iterations=2
        )
        fg_mask = cv2.morphologyEx(
            fg_mask, cv2.MORPH_DILATE, kernel, iterations=2
        )

        # 7. 查找轮廓
        contours, _ = cv2.findContours(
            fg_mask,
            cv2.RETR_EXTERNAL,
            cv2.CHAIN_APPROX_SIMPLE
        )

        # 8. 绘制检测结果
        for cnt in contours:
            area = cv2.contourArea(cnt)
            if area < 500:  # 面积过滤
                continue

            x, y, w, h = cv2.boundingRect(cnt)
            cv2.rectangle(
                frame, (x, y), (x + w, y + h),
                (0, 255, 0), 2
            )

        # 9. 显示结果
        cv2.imshow("Frame", frame)
        cv2.imshow("FG Mask", fg_mask)

        key = cv2.waitKey(30) & 0xFF
        if key == 27 or key == ord('q'):  # ESC / q 退出
            break

    cap.release()
    cv2.destroyAllWindows()


if __name__ == "__main__":
    main()

KNN

import cv2
import numpy as np

def main():
    # 1. 打开视频源
    # cap = cv2.VideoCapture(0)          # 摄像头
    cap = cv2.VideoCapture("input.mp4")   # 视频文件

    if not cap.isOpened():
        print("Error: Cannot open video")
        return

    # 2. 创建 KNN 背景建模器
    back_sub = cv2.createBackgroundSubtractorKNN(
        history=500,            # 参与建模的历史帧数
        dist2Threshold=400.0,   # 距离阈值，越大越不敏感
        detectShadows=True      # 阴影检测
    )

    # 3. 形态学结构元素
    kernel = cv2.getStructuringElement(
        cv2.MORPH_RECT, (3, 3)
    )

    while True:
        ret, frame = cap.read()
        if not ret:
            break

        # 4. 前后景分离
        fg_mask = back_sub.apply(frame)

        # 5. 去除阴影（KNN 阴影像素值 = 127）
        _, fg_mask = cv2.threshold(
            fg_mask, 200, 255, cv2.THRESH_BINARY
        )

        # 6. 形态学去噪
        fg_mask = cv2.morphologyEx(
            fg_mask, cv2.MORPH_OPEN, kernel, iterations=2
        )
        fg_mask = cv2.morphologyEx(
            fg_mask, cv2.MORPH_DILATE, kernel, iterations=2
        )

        # 7. 查找前景轮廓
        contours, _ = cv2.findContours(
            fg_mask,
            cv2.RETR_EXTERNAL,
            cv2.CHAIN_APPROX_SIMPLE
        )

        # 8. 绘制检测框
        for cnt in contours:
            area = cv2.contourArea(cnt)
            if area < 500:  # 面积阈值
                continue

            x, y, w, h = cv2.boundingRect(cnt)
            cv2.rectangle(
                frame,
                (x, y), (x + w, y + h),
                (0, 255, 0), 2
            )

        # 9. 显示
        cv2.imshow("Frame", frame)
        cv2.imshow("FG Mask (KNN)", fg_mask)

        key = cv2.waitKey(30) & 0xFF
        if key == 27 or key == ord('q'):
            break

    cap.release()
    cv2.destroyAllWindows()


if __name__ == "__main__":
    main()

前景后处理技术

原始前景掩码通常存在噪声，需要后处理。

1. 中值滤波 / 高斯滤波

• 去除孤立噪点

2. 形态学操作

• erode（腐蚀）：去噪
• dilate（膨胀）：填补空洞
• morphologyEx（开运算/闭运算）

cv::morphologyEx(mask, mask,
    cv::MORPH_OPEN,
    cv::getStructuringElement(cv::MORPH_RECT, {3,3}));

3. 轮廓提取

std::vector<std::vector<cv::Point>> contours;
cv::findContours(mask, contours,
    cv::RETR_EXTERNAL, cv::CHAIN_APPROX_SIMPLE);

可进一步进行：

• 面积筛选
• 外接矩形
• 目标跟踪

总结

OpenCV 提供的前后景分离算法在工程实践中具有：

• 实现简单
• 性能稳定
• 实时性强
• 参数可控

其中 MOG2 和 KNN 是最推荐的通用方案。通过合理的参数设置与后处理策略，可以在大多数实际场景中取得较好的分离效果。

在复杂环境下，可将传统前后景分离作为：

• 候选区域生成
• 前端轻量检测模块
• 深度学习的前置过滤

从而构建高效、可扩展的视频分析系统。