一种基于屏幕分辨率的RTSP主子码流切换的多路视频监控的播放方案

技术背景:

用户场景下,存在多个监控场所的100路监控摄像头,例如:大华、海康、宇视、杭州宇泛的枪机、球机、半球、NVR、DVR等不同类型的监控设备,通过视频监控平台进行设备的管理,通过RTSP拉流的方案管理监控的每一路监控设备,通过客户端软件进行监控点位的直播查看(客户端软件或Chrome浏览器多窗口查看),一般用户的客户端显示屏为1920*1080的分辨率,一般监控多窗口分屏为1窗口,4窗口,8窗口,16窗口,32窗口,64窗口,不同厂家的监控摄像头都至少有2路码流(高清主码流一路,普清子码流一路),一般主码流配置为H264/1080P,一般子码流H264/D1,主子码流均可以根据用户的业务场景需要进行调整,一般普通用户查看预览的客户端软件所在的硬件支持的8路H264/1080P,超过之后一般硬件无法满足视频监控的解码需求。

技术问题:

  1. 一般用户的屏幕分辨率为1920*1080
  2. 用户的硬件配置支持的最大解码能力一般为8路H264/1080P/30FPS
  3. 超过4窗口的屏幕1920*1080,4窗口分屏模式下每个窗口的分辨率为:480*270,1080P高清解码对于用户监控小窗口查看并无实际意义
  4. 8窗口、16窗口以及以上对于视频监控场景查看是常见的使用需求
  5. 1080P高清解码会占用更多的硬件资源,如cpu,内存,显卡,以及耗电量
  6. 大华,海康,宇视,杭州宇泛的监控设备均不支持通过RTSP请求自动切换主子码流
  1. 关键概念解释:
  • 1080P:1920*1080视频分辨率
  • CIF:352*288视频分辨率
  • D1:4CIF 720×576视频分辨率
  • RTSP:视频监控设备的一种取流协议
  • 主码流和子码流:摄像头提供的2路码流模式,主码流是高像素分辨率模式,子码流是低像素低分辨率模式
  • 比值:比值 =(视频分辨率宽*高)/(屏幕分辨率宽*高),策略阀值为6参照的是4窗口和9窗口屏幕分辨率中间的某个整数值
  • ws-flv:ws-flv的协议的播放地址

方案介绍:

1)配置大华监控IPC的主码流视频参数:H264/1080P/30FPS/4096Kbps,子码流视频参数:H264/D1/20FPS/512Kbps

2)一般解码1路1080P主码流的所需要的硬件资源可以解码6路D1的子码流

3)添加大华设备管理,分别配置主码流的RTSP地址和子码流的RTSP的拉流地址,例如:大华主码流:rtsp://账号:密码@设备IP:554/cam/realmonitor?channel=1&subtype=0,大华子码流:rtsp://账号:密码@设备IP:554/cam/realmonitor?channel=1&subtype=1

4)播放客户端获取设备的主子码流的分辨率参数

5)客户端获取屏幕分辨率,例如:1920*1080,根据如下策略切换播放主码流,还是子码流

6)判断播放切分之后的窗口的分辨率和主码流分辨率的比值,比值 = (主码流分辨率宽*高)/(窗口宽*窗口高)

7)若是比值 > 6(一般比值6为4窗口以上或窗口占屏幕分辨率小于1/4)则切换子码流播放,说明主码流解码得到的视频画面对于所在的窗口的呈现是一种资源浪费

8)对于子码流播放的窗口,若窗口布局发生变化,比值 < 6,如从9窗口,点击某个窗口进行全屏播放,则切换为主码流播放

9)客户端也可根据解码能力的情况进行播放的主子码流的切换

10)播放一路子码流比播放一路主码流一般会更加的省电

11)可以适应不同的窗口布局和用户的不同的分辨率的场景

12)不需要媒体服务转码,只需要主子码流的切换即可使用更多窗口的监控查看的场景

核心流程图:

1)通过设备的网页地址登录设备,输入设备的账号和密码,在配置设备的网络信息时也可以按照此参照方案同步配置视频的参数信息

2)进入设备的视频参数配置选项,根据业务场景的需要,若是用户的屏幕分辨率为1920*1080则推荐的配置主码流的视频参数为:H264/1080P/30FPS/4096Kbps,子码流的视频参数为:H264/D1/20FPS/512Kbps

3)登录视频监控平台(或类似产品如宇泛软定义智能盒子产品)

4)管理员添加视频监控设备,输入设备的主码流的RTSP地址和子码流的播放RTSP地址

5)视频监控平台的设备管理服务校验RTSP地址参数是否有效,对应的RTSP地址的设备的网络是否ping通,若是通则认为添加的设备在线,若网络ping不通则认为设备离线,并定时ping此网络设备的网络地址

6)用户通过chrome浏览器登录视频监控平台,多窗口查看有权限的设备列表,并选择监控查看

7)客户端软件获取屏幕的分辨率,查询设备的主码流的分辨率

8)根据用户的选择的多分屏数,如4分屏,9分屏,16分屏等获取播放窗口的分辨率的数据

9)对比设备的主码流的分辨率和播放窗口的分辨率的比值,若是比值小于6,则获取主码流的ws-flv的播放地址,否则获取子码流的ws-flv的播放地址

10)从媒体服务器触发rtsp的取流接口,从媒体服务器获取媒体流转发的ws-flv的播放流进行播放

设置播放器的默认的解码方式为硬解码优先,若硬解码失败则使用CPU解码

相关推荐
草根大哥4 小时前
AI 编程实践之自建视频CDN
音视频·webrtc·低延迟直播·视频cdn·低延迟cdn
zhizhizhuzhuxia7 小时前
短剧出海怎么做多语言配音:从字幕擦除到声音重塑的一条流水线
音视频·声音克隆·ai配音
2601_965454237 小时前
AI视频制作:做历史建筑视频,宫殿园林的老图难找,AI怎么自动配古建素材?
运维·人工智能·音视频
2601_955662468 小时前
短视频配音怎么做?从文案到成品音频的完整流程
人工智能·音视频·语音识别·媒体·视频
沃普天科技8 小时前
100W 氮化镓充电器充电头扩展坞一体化设计,实用性翻倍
驱动开发·计算机外设·音视频·硬件工程·pcb工艺
美狐美颜sdk8 小时前
视频美颜SDK从Demo到正式商用,还需要完成哪些准备工作?
人工智能·音视频·美颜sdk·视频美颜sdk·美颜api
碧海银沙音频科技研究院8 小时前
炬芯ATS308X U 盘 MP4 音视频播放功能实现
音视频
镭封9 小时前
AI文字转语音能制作多人对白吗?角色分配操作指南
人工智能·小程序·音视频·语音识别·媒体
Zero Lu9 小时前
国内如何用 Opus 5.5 生成视频?Cyberbara Motion 案例与提示词分享
人工智能·aigc·音视频·提示词
FlightYe9 小时前
视界原理之3D视频(三):解码和显示
android·linux·3d·ffmpeg·音视频·android runtime