CMU 目标检测与跟踪系统（Object Detection & Tracking for Surveillance Video）
-
- [1. 项目概述](#1. 项目概述)
- [2. 技术亮点](#2. 技术亮点)
- [3. 数据集与模型](#3. 数据集与模型)
- [4. 快速开始](#4. 快速开始)
- [5. 实际应用案例](#5. 实际应用案例)
- [6. 项目优势](#6. 项目优势)
- [7. 未来计划](#7. 未来计划)
- [8. 致谢](#8. 致谢)
1. 项目概述
该项目由 CMU（卡内基梅隆大学） 团队开发，专注于 监控视频中的目标检测与跟踪 ，并应用于 活动检测（Activity Detection） 。系统在 IARPA DIVA 项目 的 ActEv 评测 中取得 最佳性能，支持多目标（如行人、车辆）的实时检测、跨摄像头跟踪（Multi-Camera Tracking）和重识别（ReID）。
核心功能：
- 高精度目标检测：基于 Faster R-CNN、ResNet-101 + FPN 等模型，针对监控场景优化。
- 多目标跟踪（MOT）：集成 Deep SORT、TMOT（实时多目标跟踪算法）等。
- 跨摄像头 ReID：支持行人/车辆的跨摄像头重识别。
- 高效推理优化：多线程、批量处理（Batch Inference）、TensorRT 加速等。
2. 技术亮点
（1）目标检测模型
- 主干网络：ResNet-101 + FPN（特征金字塔）、Dilated CNN（扩大感受野）、Squeeze-Excitation 模块（试验性）。
- 模型变体 ：
- v1-v6 模型 ：针对 ActEv 数据集优化，v5 模型在验证集上达到 98.1% AP（车辆类 98.8% AP）。
- COCO 预训练模型：适用于室内场景（如 MEVA 数据集）。
- EfficientDet：支持轻量化部署（如 D0 模型）。
- 性能对比 ：
- ActEv 数据集中，车辆检测 AP 达 98.4% ，行人检测 AP 达 83.6%。
（2）多目标跟踪（MOT）
- Deep SORT：基于检测框和外观特征的卡尔曼滤波跟踪。
- TMOT（Towards-Realtime-MOT）：更高效的实时跟踪算法，减少 ID 切换（10-20% 提升）。
- 跨摄像头跟踪：结合空间约束（相机标定）和 ReID 特征匹配。
（3）重识别（ReID）
- 行人 ReID ：使用 OSNet 模型（Market-1501 数据集训练）。
- 车辆 ReID ：基于 AI City Challenge 2020 冠军模型。
（4）性能优化
- 多线程推理：CPU-GPU 并行，提升 20-30% 速度。
- 批量处理（Batch Inference）：支持单批次多图像输入，提速 30%。
- TensorRT 加速：通过冻结模型（Frozen Graph）优化推理速度。
3. 数据集与模型
（1）支持的数据集
- ActEv：监控视频中的行人、车辆、物体交互（如"推拉物体"）。
- MEVA：多摄像头室内外场景（需转换 AVI 为 MP4 格式避免 OpenCV 帧读取问题）。
- COCO：通用目标检测（适用于室内场景）。
（2）预训练模型
| 模型版本 | 特点 | 下载链接 |
|---|---|---|
| v3 (推荐) | ResNet-101 + Dilated CNN | obj_v3_model.tgz |
| EfficientDet-D0 | 轻量化模型（CVPR 2020） | 官方仓库 |
| COCO-ResNet50 | 适用于室内场景 | Frozen Graph |
4. 快速开始
（1）安装依赖
bash
# 基础环境
pip install tensorflow-gpu==1.15 numpy scipy sklearn opencv-python matplotlib pycocotools（2）运行目标检测 + 跟踪
bash
# 下载测试视频和模型
wget https://precognition.team/shares/diva_obj_detect_models/v1-val_testvideos.tgz
wget https://precognition.team/shares/diva_obj_detect_models/models/obj_v3_model.tgz
# 运行检测与跟踪（Deep SORT）
python obj_detect_tracking.py \
--model_path obj_v3_model \
--video_dir v1-val_testvideos \
--get_tracking \
--tracking_dir output_tracks（3）可视化结果
bash
# 生成跟踪可视化视频
python vis_json.py \
v1-val_testvideos.abs.lst \
v1-val_testvideos_frames/ \
output_tracks/ \
output_vis/5. 实际应用案例
- 监控安防：实时检测异常行为（如遗留物体、人员聚集）。
- 交通管理：跨摄像头车辆跟踪与流量统计。
- 智慧零售：顾客行为分析（如拿取商品）。
6. 项目优势
- 高性能：ActEv 评测排名第一，车辆检测 AP 超 98%。
- 模块化设计：支持灵活替换检测/跟踪/ReID 模块。
- 工程优化：多线程、批量处理、TensorRT 加速。
- 跨平台：支持 Python 2/3 和 TensorFlow 1.x。
7. 未来计划
- 支持 YOLOv5 等更轻量模型。
- 增加端到端活动检测（Activity Detection）管道。
- 优化多摄像头系统的实时性能。
8. 致谢
- 基于 Tensorpack Faster R-CNN 和 EfficientDet 实现。
- 数据支持：IARPA DIVA、MEVA、ActEv。