RTMP|RTSP播放器只解码视频关键帧功能探讨

音视频牛哥2025-01-22 9:54

技术背景

我们在做RTMP|RTSP直播播放器的时候，遇到过这样的技术诉求，在一些特定的应用场景中，可能只需要关键帧的信息，例如视频内容分析系统，可能只对关键帧进行分析，以提取特征、检测对象或场景变化。鉴于关键帧包含完整的图像信息，解码时不需要依赖其他帧，可以独立解码。相比之下，预测帧（P 帧）和双向预测帧（B 帧）需要参考其他帧的信息进行解码，在这种情况下，仅解码关键帧可以满足需求，同时避免不必要的解码工作。

技术实现

以大牛直播SDK的Windows平台为例，特别是多路播放或视觉算法内容处理场景下，仅解码播放关键帧非常有必要，为此，我们设计的接口如下：

cpp 复制代码

/*
 * smart_player_sdk.h
 * Created by daniusdk.com (C) All rights reserved.
 *
 *设置只解码视频关键帧
 *is_only_dec_key_frame: 1:表示只解码关键帧, 0:表示都解码, 默认是0
 *成功返回NT_ERC_OK
 */
NT_UINT32(NT_API *SetOnlyDecodeVideoKeyFrame)(NT_HANDLE handle, NT_INT32 is_only_dec_key_frame);

调用非常简单：

cpp 复制代码

void CSmartPlayerDlg::OnBnClickedCheckOnlyDecodeVideoKeyFrame()
{
	if (player_handle_ != NULL)
	{
		player_api_.SetOnlyDecodeVideoKeyFrame(player_handle_, BST_CHECKED == btn_check_only_decode_video_key_frame_.GetCheck() ? 1 : 0);
	}
}

总结

设置只解码视频关键帧，一般来说，需要设计成可动态切换解码绘制所有帧的，方便实际场景下，需要全帧解码播放的时候，确保数据的灵活性和完整性。