论文笔记: 视频关键帧抽取相关工作

2024-08-06,星期二,北京,晴

今天来看视频关键帧抽取主题。随着最近Sora文生视频的火热,视频相关的数据获得逐渐变得重要起来。这也就涉及到提取视频关键帧的问题。

从文本生成视频,我们拆分来看,一般流程是先将文本扩写生成几部分,之后将每部分生成对应的图像,这步的图像就可以看做视频的关键帧;最后由这一些关键帧扩展为完整的视频。

而视频关键帧抽取任务则是上述过程的反向操作,目的是构造训练数据使用。目前互联网上完整视频最多。而有对应关键帧的视频数据集则少之又少。

我们主要来看一篇2020年的综述文章Keyframe Extraction Techniques: A Review(https://elektrika.utm.my/index.php/ELEKTRIKA_Journal/article/download/221/136),该工作中系统总结了视频关键帧抽取部分的常用流程和方法。主要有以下几步来做:

其中,Keyframe Extraction Process主要有Sampling-Based、Shot-Based、Clustering-Based和其他方法

Sampling-Based:

  • 不考虑视频内容,从视频帧中,均匀或者随机采样即可。直白来说就是每隔几帧采样一次。
  • 缺点是:sample所得帧并不一定代表整个video,而且会有大量内容相似的帧。

Shot-Based:

  • 该方法分为两步:首先检测镜头边缘或转换卡点,将video分成小的shots,之后再做关键帧提取,通常选择小的shots的第一帧和最后一帧最为关键帧。因为这两帧图像,很确定有镜头变换的

Clustering-Based:

  • 聚类相似的视频帧图像点,在每一个cluster中,挑选距离cluster最近的作为关键帧。
  • 缺点是:事先确定cluster数量比较困难

关键帧提取算法评估指标:

Compress ratio:
C R = ( 1 − N k N f ) × 100 % CR = (1 - \frac{N_{k}}{N_{f}}) \times 100\% CR=(1−NfNk)×100%
N f N_{f} Nf: 视频总帧数

N k N_{k} Nk: 提取的关键帧数目

Precision and Recall:
P r e c i s i o n = N a N k × 100 % R e c a l l = N a N a + N m × 100 % Precision = \frac{N_{a}}{N_{k}} \times 100\% \\ Recall = \frac{N_{a}}{N_{a} + N_{m}} \times 100\% Precision=NkNa×100%Recall=Na+NmNa×100%

N a N_{a} Na: 准确的keyframes数
N k N_{k} Nk: 提取得到的keyframes数目
N m N_{m} Nm: 丢失的key frame数目

F-Measure:
F = 2 × p r e c i s i o n i × r e c a l l p r e c i s i o n + r e c a l l F = 2 \times \frac{precisioni \times recall}{precision + recall} F=2×precision+recallprecisioni×recall

Computational Time:

提取关键帧所用时间

相关开源仓库

相关推荐
沉默媛2 小时前
【论文阅读】InnerGS: Internal Scenes Rendering via Factorized 3D Gaussian Splatting
论文阅读·3dgs·内部精细结果重建
czijin10 小时前
【论文阅读】Security of Language Models for Code: A Systematic Literature Review
论文阅读·人工智能·安全·语言模型·软件工程
安逸sgr13 小时前
Zotero白嫖腾讯云翻译
论文阅读·云计算·腾讯云
飞机火车巴雷特17 小时前
【论文阅读】LightThinker: Thinking Step-by-Step Compression (EMNLP 2025)
论文阅读·人工智能·大模型·cot
网安INF17 小时前
【论文阅读】-《THE JPEG STILL PICTURE COMPRESSION STANDARD》
论文阅读·计算机视觉
张较瘦_17 小时前
[论文阅读] 人工智能 + 软件工程 | ReCode:解决LLM代码修复“贵又慢”!细粒度检索+真实基准让修复准确率飙升
论文阅读·人工智能·软件工程
张较瘦_17 小时前
[论文阅读] 软件工程 | 告别“线程安全玄学”:基于JMM的Java类静态分析,CodeQL3分钟扫遍GitHub千仓错误
java·论文阅读·安全
源于花海1 天前
Energy期刊论文学习——基于集成学习模型的多源域迁移学习方法用于小样本实车数据锂离子电池SOC估计
论文阅读·迁移学习·集成学习·电池管理
CV-杨帆1 天前
论文阅读:ACL 2022 Beyond Goldfish Memory∗: Long-Term Open-Domain Conversation
论文阅读
有点不太正常1 天前
《A Study of Probabilistic Password Models》(IEEE S&P 2014)——论文阅读
论文阅读·密码学·口令猜测·马尔可夫链