Gstreamer-OpenCV的RTSP服务搭建以及推拉流实现

简介

采用边缘设备进行推流,例如RV1126或jetson等,获取检测结果后推流至目的地。在进行视觉任务的程序,无需额外编写独立的串流程序,可以直接将串流和opencv调用驱动结合在一起。

环境配置

bash 复制代码
sudo apt-get install gstreamer1.0 gstreamer1.0-plugin-bad  gstreamer1.0-plugin-good gstreamer1.0-plugin-ugly 

服务器建设

服务器假设的方法有很多,也可以自行写代码编译运行。这里推荐一个已经编译好的rtsp服务器软件。

bash 复制代码
https://github.com/bluenviron/mediamtx.git

在release中下载对应服务器架构的软件包,解压即可使用,假设的服务器ip为运行程序的本机地址。

bash 复制代码
./mediamtx

推送RTSP流

opencv推流非常简单,只需要按照gstreamer的格式编辑好字符串,然后通过视频输出接口cv::VideoWriter进行输出,就可以直接对接软件外部的推流程序。更方便的是,如果含有nvidia设备,可以通过修改字符串的配置直接调用nvidia编解码设备,而不用编写任何代码,进行硬编码。

cpp 复制代码
	int fps = 30;
    std::string enc_cpu = "appsrc ! videoconvert ! video/x-raw,width="+ std::to_string(src.cols) +
    ",height="+ std::to_string(src.rows) +
    ",framerate="+ std::to_string(fps) +
    "/1 ! x264enc speed-preset=veryfast tune=zerolatency bitrate=800 ! rtspclientsink location="+url+" latency=0";
        
    int fourcc = cv::VideoWriter::fourcc('N', 'V', '1', '2');
    cv::Size frameSize(src.cols, src.rows ); // 根据ROS图像消息的分辨率进行调整
    cv::VideoWriter videoWriter(enc_cpu, cv::CAP_GSTREAMER, fourcc, fps, frameSize);
	
	videoWriter.write(src);

抓取RTSP流

VLC方法,延迟高。推荐直接使用gst-launch命令进行拉流。其中不同插件可以根据情况改变。有其实有Nvidia显卡支持的时候,采用nv编解码器会极大的提升效率和速度。

bash 复制代码
gst-launch-1.0 rtspsrc location=rtsp://192.168.0.166:8554/stream ! rtph264depay ! h264parse ! avdec_h264 ! videoconvert ! autovideosink
相关推荐
冷眼看人间恩怨2 分钟前
【话题讨论】AI大模型重塑软件开发:定义、应用、优势与挑战
人工智能·ai编程·软件开发
2401_883041084 分钟前
新锐品牌电商代运营公司都有哪些?
大数据·人工智能
AI极客菌1 小时前
Controlnet作者新作IC-light V2:基于FLUX训练,支持处理风格化图像,细节远高于SD1.5。
人工智能·计算机视觉·ai作画·stable diffusion·aigc·flux·人工智能作画
阿_旭1 小时前
一文读懂| 自注意力与交叉注意力机制在计算机视觉中作用与基本原理
人工智能·深度学习·计算机视觉·cross-attention·self-attention
王哈哈^_^1 小时前
【数据集】【YOLO】【目标检测】交通事故识别数据集 8939 张,YOLO道路事故目标检测实战训练教程!
前端·人工智能·深度学习·yolo·目标检测·计算机视觉·pyqt
Power20246662 小时前
NLP论文速读|LongReward:基于AI反馈来提升长上下文大语言模型
人工智能·深度学习·机器学习·自然语言处理·nlp
数据猎手小k2 小时前
AIDOVECL数据集:包含超过15000张AI生成的车辆图像数据集,目的解决旨在解决眼水平分类和定位问题。
人工智能·分类·数据挖掘
好奇龙猫2 小时前
【学习AI-相关路程-mnist手写数字分类-win-硬件:windows-自我学习AI-实验步骤-全连接神经网络(BPnetwork)-操作流程(3) 】
人工智能·算法
沉下心来学鲁班2 小时前
复现LLM:带你从零认识语言模型
人工智能·语言模型
数据猎手小k2 小时前
AndroidLab:一个系统化的Android代理框架,包含操作环境和可复现的基准测试,支持大型语言模型和多模态模型。
android·人工智能·机器学习·语言模型