OpenCV(五十一)：视频前后景分离

概述

前后景分离（Foreground--Background Segmentation）是计算机视觉中的基础问题之一，其核心目标是从视频序列中分离出运动目标（前景）与相对静止的背景。该技术广泛应用于视频监控、智能安防、行为分析、目标检测、视频编码优化等领域。

基本原理

1. 问题定义

给定视频帧序列 It(x,y)，需要判断每个像素点属于：

背景（Background）
前景（Foreground）

本质是一个逐像素分类问题。

2. 核心思想

前后景分离通常基于以下假设：

背景变化缓慢
前景是短时或突发变化
视频帧在时间维度上具有强相关性

因此，算法的核心是：

建立背景模型 → 与当前帧比较 → 判断是否为前景

3. 基本处理流程

复制代码

视频输入
   ↓
背景建模
   ↓
前景检测（差分/概率判断）
   ↓
二值前景掩码
   ↓
后处理（滤波、形态学）
   ↓
目标提取

经典前后景分离方法

1. 帧差法（Frame Difference）

原理

计算当前帧与前一帧的像素差值：

超过阈值则认为是前景。

优点

实现简单
计算速度快
对实时性友好

缺点

无法检测静止目标
对噪声敏感
目标轮廓不完整

适用场景

快速运动目标检测
对精度要求不高的实时系统

2. 背景差分法（Background Subtraction）

原理

维护一幅背景图像 B(x,y)，与当前帧做差：

背景模型会随时间逐渐更新。

优点

前景检测较完整
能检测慢速运动目标

缺点

对光照变化敏感
背景初始化困难

OpenCV 内置前后景分离算法

OpenCV 提供了成熟的背景建模器接口 BackgroundSubtractor。

1. MOG（Mixture of Gaussians）

原理

每个像素用 **多个高斯分布（GMM）**建模：

常见 K = 3~5
背景由权重高、方差小的高斯组成

特点

能处理动态背景（如水面、树叶）
计算复杂度较高

OpenCV 接口

cpp 复制代码

cv::Ptr<cv::BackgroundSubtractor> mog =
    cv::createBackgroundSubtractorMOG();

2. MOG2（改进版高斯混合模型）

相比 MOG 的改进

自适应高斯数量
支持阴影检测
更稳定的背景更新策略

优点

工程中最常用
对光照变化有一定鲁棒性

缺点

参数较多
高噪声场景需调参

OpenCV 示例

cpp 复制代码

cv::Ptr<cv::BackgroundSubtractor> mog2 =
    cv::createBackgroundSubtractorMOG2();

mog2->apply(frame, fgMask);

3. KNN（K-Nearest Neighbors）

原理

对每个像素维护最近 N 个历史样本：

与当前像素做距离比较
多数近邻为背景则判为背景

优点

对周期性背景（树叶、水波）效果好
参数直观

缺点

内存占用略大
对突发光照变化较敏感

OpenCV 示例

cpp 复制代码

cv::Ptr<cv::BackgroundSubtractor> knn =
    cv::createBackgroundSubtractorKNN();

4. python示例

MOG2

python 复制代码

import cv2
import numpy as np

def main():
    # 1. 打开视频源
    # cap = cv2.VideoCapture(0)              # 摄像头
    cap = cv2.VideoCapture("test.mp4")       # 视频文件

    if not cap.isOpened():
        print("Error: Cannot open video")
        return

    # 2. 创建背景建模器（MOG2）
    back_sub = cv2.createBackgroundSubtractorMOG2(
        history=500,        # 背景历史长度
        varThreshold=16,    # 前景判定阈值
        detectShadows=True # 是否检测阴影
    )

    # 3. 形态学核
    kernel = cv2.getStructuringElement(
        cv2.MORPH_RECT, (3, 3)
    )

    while True:
        ret, frame = cap.read()
        if not ret:
            break

        # 4. 前后景分离
        fg_mask = back_sub.apply(frame)

        # 5. 去除阴影（MOG2 中阴影像素值为 127）
        _, fg_mask = cv2.threshold(
            fg_mask, 200, 255, cv2.THRESH_BINARY
        )

        # 6. 形态学去噪
        fg_mask = cv2.morphologyEx(
            fg_mask, cv2.MORPH_OPEN, kernel, iterations=2
        )
        fg_mask = cv2.morphologyEx(
            fg_mask, cv2.MORPH_DILATE, kernel, iterations=2
        )

        # 7. 查找轮廓
        contours, _ = cv2.findContours(
            fg_mask,
            cv2.RETR_EXTERNAL,
            cv2.CHAIN_APPROX_SIMPLE
        )

        # 8. 绘制检测结果
        for cnt in contours:
            area = cv2.contourArea(cnt)
            if area < 500:  # 面积过滤
                continue

            x, y, w, h = cv2.boundingRect(cnt)
            cv2.rectangle(
                frame, (x, y), (x + w, y + h),
                (0, 255, 0), 2
            )

        # 9. 显示结果
        cv2.imshow("Frame", frame)
        cv2.imshow("FG Mask", fg_mask)

        key = cv2.waitKey(30) & 0xFF
        if key == 27 or key == ord('q'):  # ESC / q 退出
            break

    cap.release()
    cv2.destroyAllWindows()


if __name__ == "__main__":
    main()

KNN

python 复制代码

import cv2
import numpy as np

def main():
    # 1. 打开视频源
    # cap = cv2.VideoCapture(0)          # 摄像头
    cap = cv2.VideoCapture("input.mp4")   # 视频文件

    if not cap.isOpened():
        print("Error: Cannot open video")
        return

    # 2. 创建 KNN 背景建模器
    back_sub = cv2.createBackgroundSubtractorKNN(
        history=500,            # 参与建模的历史帧数
        dist2Threshold=400.0,   # 距离阈值，越大越不敏感
        detectShadows=True      # 阴影检测
    )

    # 3. 形态学结构元素
    kernel = cv2.getStructuringElement(
        cv2.MORPH_RECT, (3, 3)
    )

    while True:
        ret, frame = cap.read()
        if not ret:
            break

        # 4. 前后景分离
        fg_mask = back_sub.apply(frame)

        # 5. 去除阴影（KNN 阴影像素值 = 127）
        _, fg_mask = cv2.threshold(
            fg_mask, 200, 255, cv2.THRESH_BINARY
        )

        # 6. 形态学去噪
        fg_mask = cv2.morphologyEx(
            fg_mask, cv2.MORPH_OPEN, kernel, iterations=2
        )
        fg_mask = cv2.morphologyEx(
            fg_mask, cv2.MORPH_DILATE, kernel, iterations=2
        )

        # 7. 查找前景轮廓
        contours, _ = cv2.findContours(
            fg_mask,
            cv2.RETR_EXTERNAL,
            cv2.CHAIN_APPROX_SIMPLE
        )

        # 8. 绘制检测框
        for cnt in contours:
            area = cv2.contourArea(cnt)
            if area < 500:  # 面积阈值
                continue

            x, y, w, h = cv2.boundingRect(cnt)
            cv2.rectangle(
                frame,
                (x, y), (x + w, y + h),
                (0, 255, 0), 2
            )

        # 9. 显示
        cv2.imshow("Frame", frame)
        cv2.imshow("FG Mask (KNN)", fg_mask)

        key = cv2.waitKey(30) & 0xFF
        if key == 27 or key == ord('q'):
            break

    cap.release()
    cv2.destroyAllWindows()


if __name__ == "__main__":
    main()

前景后处理技术

原始前景掩码通常存在噪声，需要后处理。

1. 中值滤波 / 高斯滤波

去除孤立噪点

2. 形态学操作

erode（腐蚀）：去噪
dilate（膨胀）：填补空洞
morphologyEx（开运算/闭运算）

cpp 复制代码

cv::morphologyEx(mask, mask,
    cv::MORPH_OPEN,
    cv::getStructuringElement(cv::MORPH_RECT, {3,3}));

3. 轮廓提取

cpp 复制代码

std::vector<std::vector<cv::Point>> contours;
cv::findContours(mask, contours,
    cv::RETR_EXTERNAL, cv::CHAIN_APPROX_SIMPLE);

可进一步进行：

面积筛选
外接矩形
目标跟踪

总结

OpenCV 提供的前后景分离算法在工程实践中具有：

实现简单
性能稳定
实时性强
参数可控

其中 MOG2 和 KNN 是最推荐的通用方案。通过合理的参数设置与后处理策略，可以在大多数实际场景中取得较好的分离效果。

在复杂环境下，可将传统前后景分离作为：

候选区域生成
前端轻量检测模块
深度学习的前置过滤

从而构建高效、可扩展的视频分析系统。