流媒体服务实现H5实时预览视频

目录

背景

客户aws服务磁盘存储告急,最高可扩容16T。排查如下:主要是视频文件存在大量复制使用的情况。例如发布节目时复制、预览时复制,这样上传一份视频后最大会有四份拷贝(预览、普通发布、互动发布),但是却有只有一份视频是被终端播放时使用。

方案

预览时,通过ffmpeg工具将原视频处理成video标签可正常播放的音视频流(h264、帧率25以下...参照GTV标准品预览视频格式要求),推送到流媒体服务器上,然后将前端拉该视频流喂给H5的video容器。

业务实践

FFmpeg支持推流多种形式的流,主要取决于推流协议和容器格式的组合。以下是一些常见的推流形式:

  1. RTMP(Real-Time Messaging Protocol)流:通过RTMP协议推流,可以实现实时音视频流传输。
  2. RTSP(Real-Time Streaming Protocol)流:通过RTSP协议推流,通常用于实时监控和视频流传输。
  3. HLS(HTTP Live Streaming)流:通过HLS协议推流,适用于分段传输和适应不同网络条件的流媒体。
  4. MPEG-TS(MPEG Transport Stream)流:通过MPEG-TS格式推流,常用于数字电视广播和多路复用的流媒体传输。
  5. WebRTC(Web Real-Time Communication)流:通过WebRTC协议推流,用于实时音视频通信和协作。
  6. SRT(Secure Reliable Transport)流:通过SRT协议推流,提供高可靠性和安全性的传输。
  7. UDP(User Datagram Protocol)流:通过UDP协议推流,通常用于低延迟的实时音视频传输。
  8. HTTP/HTTPS流:通过HTTP或HTTPS协议推流,适用于各种在线音视频服务和内容分发。

结合业务需求,以及调用常用方案现状,决定采取RTMP协议推流。

具体方案:FFmpeg (推流) ---> (RTMP协议) --->nginx-http-flv-module(流媒体服务) ---> (HTTP-FLV) ---> Flv.js 。

步骤一:FFmpeg推流

推流命令:ffmpeg -ss 0 -re -i /usr/local/tomcat9.0.41/webapps/cdms//organization/1/video/1/57ffc736-e4bc-4788-b014-8d6c3cb0b908.mp4 -c:v libx264 -c:a aac -f flv -y rtmp://172.18.0.4:1935/live/57ffc736-e4bc-4788-b014-8d6c3cb0b908.mp4-timestamp=1698912705403
步骤二:流媒体服务处理

因为浏览器对rtmp流的支持和兼容性不一样(需要flash插件),所以需要流媒体服务器将rtmp流处理成http类型的流http-flv。

linux环境部署方式:

  1. 编译安装。(不推荐)
    好处:可以自定义功能选项。坏处:对编译环境要求较多,可能会遇到缺库或者版本不对等等一些列问题。
    编译资源及教程: https://github.com/winshining/nginx-http-flv-module
  2. docker镜像安装。(推荐)
    开源docker镜像,人家已经做好编译打包成docker镜像了,只需要自定义启动容器,然后自行修改服务配置即可。
    镜像推荐:mugennsou/nginx-http-flv
    github地址:https://github.com/mugennsou/http-flv
    部署命令:docker pull mugennsou/nginx-http-flv && docker run -it -d --restart always -p 8380:80 -p 1935:1935 --net cdms-network --ip 172.18.0.5 --name allsee-nginx-http-flv mugennsou/nginx-http-flv
    配置路径:/etc/nginx/conf.d/rtmp/rtmp.conf、/etc/nginx/conf.d/http/http.conf
    查看当前正在活动的流:http://ip:8380/stat![在这里插入图片描述](https://file.jishuzhan.net/article/1721436159650828289/c4cdabe21967c491f6bfbb7c1a26ebd8.webp)
    步骤三:拉流播放

使用哔哩哔哩开源播放器:flvjs

作用:与流媒体服务建立连接,订阅流地址,实时拉流并喂给video标签进行播放。

在线demo: http://bilibili.github.io/flv.js/demo 根据上述推流过程,拉流播放地址是:http://ip:8380/live?app=live\&stream=57ffc736-e4bc-4788-b014-8d6c3cb0b908.mp4-timestamp=1698912705403

项目地址:https://github.com/bilibili/flv.js

细节注意

  1. 查看当前正在活动的流 127.0.0.1:1935/stash
  2. 客户量较大,需要注意控制ffmpeg推流并发量。
  3. 客户关闭预览时,销毁推流进程,销毁flvjs播放器。(断开与流媒体服务的连接,释放资源)
  4. 考虑到多个客户对同一个视频进行预览,为了保证每次重新打开预览都是从0开始,每次预览需要保证推流地址不一样。(当前是拼接文件名和时间戳)
  5. 由于历史原因,大部分客户已习惯上传h264格式的mp4文件,这种视频是能通过video原生标签正常播放的,因此预览前需判断视频是否符合正常播放标准(参照GTV标准版视频格式),符合返回文件输出流,否则才走推流播放流程,降低开销。

待办

  1. flvjs自定义参数较多,有空可以再研究研究怎么搭配让播放体验最佳。
  2. 并发预览压测。如何测试巨大的预览并发量对服务器性能的影响。
  3. 流地址暂时采取的是文件名+时间戳,可优化为我们常用的唯一ID获取算法(雪花算法...)
  4. ...
相关推荐
SEU-WYL5 分钟前
基于深度学习的视频摘要生成
人工智能·深度学习·音视频
兔云程序9 小时前
字节跳动收购Oladance耳机:强化音频技术,加速VR/AR生态布局
ar·音视频·vr
jndingxin11 小时前
OpenCV视频I/O(14)创建和写入视频文件的类:VideoWriter介绍
人工智能·opencv·音视频
芯橦16 小时前
【瑞昱RTL8763E】音频
单片机·嵌入式硬件·mcu·物联网·音视频·visual studio code·智能手表
9527华安17 小时前
FPGA实现PCIE视频采集转HDMI输出,基于XDMA中断架构,提供3套工程源码和技术支持
fpga开发·音视频·pcie·xdma·ov5640·hdmi
speop21 小时前
【笔记】I/O总结王道强化视频笔记
笔记·音视频
cuijiecheng20181 天前
音视频入门基础:FLV专题(13)——FFmpeg源码中,解析任意Type值的SCRIPTDATAVALUE类型的实现
ffmpeg·音视频
Envyᥫᩣ1 天前
《ASP.NET Web Forms 实现视频点赞功能的完整示例》
前端·asp.net·音视频·视频点赞
HJ_SDK1 天前
探索私有化聊天软件:即时通讯与音视频技术的结合
音视频
jndingxin2 天前
OpenCV视频I/O(8)视频采集类VideoCapture之从视频源中读取一帧图像函数read()的使用
人工智能·opencv·音视频