Gstreamer中,使用mp4或者flv作为视频源去推流RTP等视频流时,需要先解码在编码才能正常

前言:

在Gstreamer中,视频源可以有很多,在很多时候,我们为了测试,会使用MP4等文件作为视频源进行测试,但是发现无论是我自己测试,还是很多网上的命令,都需要先对mp4的h264数据解码以后,再编码为h264,然后再封装和推流,这个就感觉很离谱,今天算是差不多搞明白了。以下是测试步骤:

测试流程:

使用h264文件:

推流:

gst-launch-1.0 -v filesrc location=1080p_60fps.h264 ! h264parse ! rtph264pay ! udpsink host=127.0.0.1 port=8000

播放:

gst-launch-1.0 udpsrc port=8000 ! application/x-rtp, media=video, clock-rate=90000, encoding-name=H264 ! rtph264depay ! h264parse ! avdec_h264 ! videoconvert ! glimagesink name=vsink sync=false

这个是正常的。

使用MP4文件:

解封装以后进行推流:

gst-launch-1.0 -v filesrc location=./1080p_60fps_h264.mp4 ! qtdemux ! h264parse ! rtph264pay ! udpsink host=127.0.0.1 port=8000

发现不报错,但是无法播放。

正常:

gst-launch-1.0 -v filesrc location=./1080p_60fps_h264.mp4 ! qtdemux ! avdec_h264 ! x264enc ! rtph264pay ! udpsink host=127.0.0.1 port=8000

发现需要先解码再编码才可以,这样的话,不是无形之间增加了资源消耗吗?

原因:

偶然之间,发现了一个知识点:

H264有两种封装模式,一种是annexb模式,传统模式,有startcode,SPS和PPS是在ES中,第二种是mp4模式,没有startcode,SPS和PPS以及其他信息封装在container中,每一个frame前面4个字节是这个frame的长度。很多解码器只支持annexb这种模式,因此需要将Mp4做转换,flv也是一样。

所以,这里的关键是有没有SPS和PPS信息。mp4和flv的h264文件中,SPS和PPS数据不是在每一帧前面的,而且还没有四个字节的startcode:

左边是正常的,右边是不正常的。

为了验证这个思路是否正确,我使用了TS视频流进行测试:

验证

根据之前的原因分析,理论上,ts流就可以不用先解码再编码。事实证明确实如此:

使用ts作为视频源进行推流:

gst-launch-1.0 -v filesrc location=./believe.ts ! tsdemux ! rtph264pay ! udpsink host=127.0.0.1 port=8000

播放:

gst-launch-1.0 udpsrc port=8000 ! application/x-rtp, media=video, clock-rate=90000, encoding-name=H264 ! rtph264depay ! h264parse ! avdec_h264 ! videoconvert ! glimagesink name=vsink sync=false

发现可以正常播放。

解决办法:

方法一:

在mp4和flv作为视频源的时候,需要先解码再编码。

此方法具有泛用性。

方法二:

在推流的时候,想办法加入SPS和PPS数据。比如后面找到的一种方法:将rtph264pay config-interval=-1 只要这个参数不是0就行,使用gst-inspect-1.0 rtph264pay命令查看,这个参数的意思如下:

进行测试:

gst-launch-1.0 -v filesrc location=./1080p_60fps_h264.mp4 ! qtdemux ! rtph264pay config-interval=-1 ! udpsink host=127.0.0.1 port=8000

发现可以不用先解码再编码就可以实现了。

但是这种情况,并不适用于所有情况,比如SRT协议,还是需要先解码再编码:

gst-launch-1.0 -v filesrc location=./1080p_60fps_h264.mp4 ! qtdemux name=demux demux.video_0 ! h264parse ! avdec_h264 ! x264enc ! mpegtsmux ! srtsink uri=srt://192.168.1.125:8088?mode=listener

方法三:

使用ffmpeg的h264_mp4toannexb 过滤器。

参考代码如下,这个代码只是将mp4中的h264文件,转换为了annexb模式的h264,此代码并未实现RTP的封装和推流,需要以后完善。

cpp 复制代码
#include <stdio.h>
#include <libavutil/log.h>
#include <libavformat/avio.h>
#include <libavformat/avformat.h>



static char err_buf[128] = {0};
static char* av_get_err(int errnum)
{
    av_strerror(errnum, err_buf, 128);
    return err_buf;
}

/*
AvCodecContext->extradata[]中为nalu长度
*   codec_extradata:
*   1, 64, 0, 1f, ff, e1, [0, 18], 67, 64, 0, 1f, ac, c8, 60, 78, 1b, 7e,
*   78, 40, 0, 0, fa, 40, 0, 3a, 98, 3, c6, c, 66, 80,
*   1, [0, 5],68, e9, 78, bc, b0, 0,
*/

//ffmpeg -i 2018.mp4 -codec copy -bsf:h264_mp4toannexb -f h264 tmp.h264
//ffmpeg 从mp4上提取H264的nalu h
int main(int argc, char **argv)
{
    AVFormatContext *ifmt_ctx = NULL;
    int             videoindex = -1;
    AVPacket        *pkt = NULL;
    int             ret = -1;
    int             file_end = 0; // 文件是否读取结束

    if(argc < 3)
    {
        printf("usage inputfile outfile\n");
        return -1;
    }
    FILE *outfp=fopen(argv[2],"wb");
    printf("in:%s out:%s\n", argv[1], argv[2]);

    // 分配解复用器的内存,使用avformat_close_input释放
    ifmt_ctx = avformat_alloc_context();
    if (!ifmt_ctx)
    {
        printf("[error] Could not allocate context.\n");
        return -1;
    }

    // 根据url打开码流,并选择匹配的解复用器
    ret = avformat_open_input(&ifmt_ctx,argv[1], NULL, NULL);
    if(ret != 0)
    {
        printf("[error]avformat_open_input: %s\n", av_get_err(ret));
        return -1;
    }

    // 读取媒体文件的部分数据包以获取码流信息
    ret = avformat_find_stream_info(ifmt_ctx, NULL);
    if(ret < 0)
    {
        printf("[error]avformat_find_stream_info: %s\n", av_get_err(ret));
        avformat_close_input(&ifmt_ctx);
        return -1;
    }

    // 查找出哪个码流是video/audio/subtitles
    videoindex = -1;
    // 推荐的方式
    videoindex = av_find_best_stream(ifmt_ctx, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);
    if(videoindex == -1)
    {
        printf("Didn't find a video stream.\n");
        avformat_close_input(&ifmt_ctx);
        return -1;
    }

    // 分配数据包
    pkt = av_packet_alloc();
    av_init_packet(pkt);

    // 1 获取相应的比特流过滤器
    //FLV/MP4/MKV等结构中,h264需要h264_mp4toannexb处理。添加SPS/PPS等信息。
    // FLV封装时,可以把多个NALU放在一个VIDEO TAG中,结构为4B NALU长度+NALU1+4B NALU长度+NALU2+...,
    // 需要做的处理把4B长度换成00000001或者000001
    const AVBitStreamFilter *bsfilter = av_bsf_get_by_name("h264_mp4toannexb");
    AVBSFContext *bsf_ctx = NULL;
    // 2 初始化过滤器上下文
    av_bsf_alloc(bsfilter, &bsf_ctx); //AVBSFContext;
    // 3 添加解码器属性
    avcodec_parameters_copy(bsf_ctx->par_in, ifmt_ctx->streams[videoindex]->codecpar);
    av_bsf_init(bsf_ctx);

    file_end = 0;
    while (0 == file_end)
    {
        if((ret = av_read_frame(ifmt_ctx, pkt)) < 0)
        {
            // 没有更多包可读
            file_end = 1;
            printf("read file end: ret:%d\n", ret);
        }
        if(ret == 0 && pkt->stream_index == videoindex)
        {
            int input_size = pkt->size;
            int out_pkt_count = 0;
            if (av_bsf_send_packet(bsf_ctx, pkt) != 0) // bitstreamfilter内部去维护内存空间
            {
                av_packet_unref(pkt);   // 你不用了就把资源释放掉
                continue;       // 继续送
            }
            av_packet_unref(pkt);   // 释放资源
            while(av_bsf_receive_packet(bsf_ctx, pkt) == 0)
            {
                out_pkt_count++;
                // printf("fwrite size:%d\n", pkt->size);
                size_t size = fwrite(pkt->data, 1, pkt->size, outfp);
                if(size != pkt->size)
                {
                    printf("fwrite failed-> write:%u, pkt_size:%u\n", size, pkt->size);
                }
                av_packet_unref(pkt);
            }
            if(out_pkt_count >= 2)
            {
                printf("cur pkt(size:%d) only get 1 out pkt, it get %d pkts\n",
                       input_size, out_pkt_count);
            }
        }
        else
        {
            if(ret == 0)
                av_packet_unref(pkt);        // 释放内存
        }
    }
    if(outfp)
        fclose(outfp);
    if(bsf_ctx)
        av_bsf_free(&bsf_ctx);
    if(pkt)
        av_packet_free(&pkt);
    if(ifmt_ctx)
        avformat_close_input(&ifmt_ctx);
    printf("finish\n");

    return 0;
}
相关推荐
MediaTea8 小时前
Pr 视频过渡:沉浸式视频 - VR 色度泄漏
音视频·vr
LNTON羚通9 小时前
算法定制LiteAIServer摄像机实时接入分析平台烟火检测算法的主要功能
音视频·视频监控
EasyCVR14 小时前
EHOME视频平台EasyCVR视频融合平台使用OBS进行RTMP推流,WebRTC播放出现抖动、卡顿如何解决?
人工智能·算法·ffmpeg·音视频·webrtc·监控视频接入
冷凝女子16 小时前
【QT】海康视频及openCv抓拍正脸接口
qt·opencv·音视频·海康
安步当歌17 小时前
【WebRTC】视频编码链路中各个类的简单分析——VideoStreamEncoder
音视频·webrtc·视频编解码·video-codec
顾北川_野17 小时前
Android CALL关于电话音频和紧急电话设置和获取
android·音视频
顶呱呱程序17 小时前
2-143 基于matlab-GUI的脉冲响应不变法实现音频滤波功能
算法·matlab·音视频·matlab-gui·音频滤波·脉冲响应不变法
EasyCVR19 小时前
萤石设备视频接入平台EasyCVR多品牌摄像机视频平台海康ehome平台(ISUP)接入EasyCVR不在线如何排查?
运维·服务器·网络·人工智能·ffmpeg·音视频
runing_an_min19 小时前
ffmpeg 视频滤镜:屏蔽边框杂色- fillborders
ffmpeg·音视频·fillborders
我喜欢就喜欢1 天前
基于qt vs下的视频播放
开发语言·qt·音视频