Gstreamer中,使用mp4或者flv作为视频源去推流RTP等视频流时,需要先解码在编码才能正常

前言:

在Gstreamer中,视频源可以有很多,在很多时候,我们为了测试,会使用MP4等文件作为视频源进行测试,但是发现无论是我自己测试,还是很多网上的命令,都需要先对mp4的h264数据解码以后,再编码为h264,然后再封装和推流,这个就感觉很离谱,今天算是差不多搞明白了。以下是测试步骤:

测试流程:

使用h264文件:

推流:

gst-launch-1.0 -v filesrc location=1080p_60fps.h264 ! h264parse ! rtph264pay ! udpsink host=127.0.0.1 port=8000

播放:

gst-launch-1.0 udpsrc port=8000 ! application/x-rtp, media=video, clock-rate=90000, encoding-name=H264 ! rtph264depay ! h264parse ! avdec_h264 ! videoconvert ! glimagesink name=vsink sync=false

这个是正常的。

使用MP4文件:

解封装以后进行推流:

gst-launch-1.0 -v filesrc location=./1080p_60fps_h264.mp4 ! qtdemux ! h264parse ! rtph264pay ! udpsink host=127.0.0.1 port=8000

发现不报错,但是无法播放。

正常:

gst-launch-1.0 -v filesrc location=./1080p_60fps_h264.mp4 ! qtdemux ! avdec_h264 ! x264enc ! rtph264pay ! udpsink host=127.0.0.1 port=8000

发现需要先解码再编码才可以,这样的话,不是无形之间增加了资源消耗吗?

原因:

偶然之间,发现了一个知识点:

H264有两种封装模式,一种是annexb模式,传统模式,有startcode,SPS和PPS是在ES中,第二种是mp4模式,没有startcode,SPS和PPS以及其他信息封装在container中,每一个frame前面4个字节是这个frame的长度。很多解码器只支持annexb这种模式,因此需要将Mp4做转换,flv也是一样。

所以,这里的关键是有没有SPS和PPS信息。mp4和flv的h264文件中,SPS和PPS数据不是在每一帧前面的,而且还没有四个字节的startcode:

左边是正常的,右边是不正常的。

为了验证这个思路是否正确,我使用了TS视频流进行测试:

验证

根据之前的原因分析,理论上,ts流就可以不用先解码再编码。事实证明确实如此:

使用ts作为视频源进行推流:

gst-launch-1.0 -v filesrc location=./believe.ts ! tsdemux ! rtph264pay ! udpsink host=127.0.0.1 port=8000

播放:

gst-launch-1.0 udpsrc port=8000 ! application/x-rtp, media=video, clock-rate=90000, encoding-name=H264 ! rtph264depay ! h264parse ! avdec_h264 ! videoconvert ! glimagesink name=vsink sync=false

发现可以正常播放。

解决办法:

方法一:

在mp4和flv作为视频源的时候,需要先解码再编码。

此方法具有泛用性。

方法二:

在推流的时候,想办法加入SPS和PPS数据。比如后面找到的一种方法:将rtph264pay config-interval=-1 只要这个参数不是0就行,使用gst-inspect-1.0 rtph264pay命令查看,这个参数的意思如下:

进行测试:

gst-launch-1.0 -v filesrc location=./1080p_60fps_h264.mp4 ! qtdemux ! rtph264pay config-interval=-1 ! udpsink host=127.0.0.1 port=8000

发现可以不用先解码再编码就可以实现了。

但是这种情况,并不适用于所有情况,比如SRT协议,还是需要先解码再编码:

gst-launch-1.0 -v filesrc location=./1080p_60fps_h264.mp4 ! qtdemux name=demux demux.video_0 ! h264parse ! avdec_h264 ! x264enc ! mpegtsmux ! srtsink uri=srt://192.168.1.125:8088?mode=listener

方法三:

使用ffmpeg的h264_mp4toannexb 过滤器。

参考代码如下,这个代码只是将mp4中的h264文件,转换为了annexb模式的h264,此代码并未实现RTP的封装和推流,需要以后完善。

cpp 复制代码
#include <stdio.h>
#include <libavutil/log.h>
#include <libavformat/avio.h>
#include <libavformat/avformat.h>



static char err_buf[128] = {0};
static char* av_get_err(int errnum)
{
    av_strerror(errnum, err_buf, 128);
    return err_buf;
}

/*
AvCodecContext->extradata[]中为nalu长度
*   codec_extradata:
*   1, 64, 0, 1f, ff, e1, [0, 18], 67, 64, 0, 1f, ac, c8, 60, 78, 1b, 7e,
*   78, 40, 0, 0, fa, 40, 0, 3a, 98, 3, c6, c, 66, 80,
*   1, [0, 5],68, e9, 78, bc, b0, 0,
*/

//ffmpeg -i 2018.mp4 -codec copy -bsf:h264_mp4toannexb -f h264 tmp.h264
//ffmpeg 从mp4上提取H264的nalu h
int main(int argc, char **argv)
{
    AVFormatContext *ifmt_ctx = NULL;
    int             videoindex = -1;
    AVPacket        *pkt = NULL;
    int             ret = -1;
    int             file_end = 0; // 文件是否读取结束

    if(argc < 3)
    {
        printf("usage inputfile outfile\n");
        return -1;
    }
    FILE *outfp=fopen(argv[2],"wb");
    printf("in:%s out:%s\n", argv[1], argv[2]);

    // 分配解复用器的内存,使用avformat_close_input释放
    ifmt_ctx = avformat_alloc_context();
    if (!ifmt_ctx)
    {
        printf("[error] Could not allocate context.\n");
        return -1;
    }

    // 根据url打开码流,并选择匹配的解复用器
    ret = avformat_open_input(&ifmt_ctx,argv[1], NULL, NULL);
    if(ret != 0)
    {
        printf("[error]avformat_open_input: %s\n", av_get_err(ret));
        return -1;
    }

    // 读取媒体文件的部分数据包以获取码流信息
    ret = avformat_find_stream_info(ifmt_ctx, NULL);
    if(ret < 0)
    {
        printf("[error]avformat_find_stream_info: %s\n", av_get_err(ret));
        avformat_close_input(&ifmt_ctx);
        return -1;
    }

    // 查找出哪个码流是video/audio/subtitles
    videoindex = -1;
    // 推荐的方式
    videoindex = av_find_best_stream(ifmt_ctx, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);
    if(videoindex == -1)
    {
        printf("Didn't find a video stream.\n");
        avformat_close_input(&ifmt_ctx);
        return -1;
    }

    // 分配数据包
    pkt = av_packet_alloc();
    av_init_packet(pkt);

    // 1 获取相应的比特流过滤器
    //FLV/MP4/MKV等结构中,h264需要h264_mp4toannexb处理。添加SPS/PPS等信息。
    // FLV封装时,可以把多个NALU放在一个VIDEO TAG中,结构为4B NALU长度+NALU1+4B NALU长度+NALU2+...,
    // 需要做的处理把4B长度换成00000001或者000001
    const AVBitStreamFilter *bsfilter = av_bsf_get_by_name("h264_mp4toannexb");
    AVBSFContext *bsf_ctx = NULL;
    // 2 初始化过滤器上下文
    av_bsf_alloc(bsfilter, &bsf_ctx); //AVBSFContext;
    // 3 添加解码器属性
    avcodec_parameters_copy(bsf_ctx->par_in, ifmt_ctx->streams[videoindex]->codecpar);
    av_bsf_init(bsf_ctx);

    file_end = 0;
    while (0 == file_end)
    {
        if((ret = av_read_frame(ifmt_ctx, pkt)) < 0)
        {
            // 没有更多包可读
            file_end = 1;
            printf("read file end: ret:%d\n", ret);
        }
        if(ret == 0 && pkt->stream_index == videoindex)
        {
            int input_size = pkt->size;
            int out_pkt_count = 0;
            if (av_bsf_send_packet(bsf_ctx, pkt) != 0) // bitstreamfilter内部去维护内存空间
            {
                av_packet_unref(pkt);   // 你不用了就把资源释放掉
                continue;       // 继续送
            }
            av_packet_unref(pkt);   // 释放资源
            while(av_bsf_receive_packet(bsf_ctx, pkt) == 0)
            {
                out_pkt_count++;
                // printf("fwrite size:%d\n", pkt->size);
                size_t size = fwrite(pkt->data, 1, pkt->size, outfp);
                if(size != pkt->size)
                {
                    printf("fwrite failed-> write:%u, pkt_size:%u\n", size, pkt->size);
                }
                av_packet_unref(pkt);
            }
            if(out_pkt_count >= 2)
            {
                printf("cur pkt(size:%d) only get 1 out pkt, it get %d pkts\n",
                       input_size, out_pkt_count);
            }
        }
        else
        {
            if(ret == 0)
                av_packet_unref(pkt);        // 释放内存
        }
    }
    if(outfp)
        fclose(outfp);
    if(bsf_ctx)
        av_bsf_free(&bsf_ctx);
    if(pkt)
        av_packet_free(&pkt);
    if(ifmt_ctx)
        avformat_close_input(&ifmt_ctx);
    printf("finish\n");

    return 0;
}
相关推荐
xcLeigh7 小时前
HTML5超酷响应式视频背景动画特效(六种风格,附源码)
前端·音视频·html5
韩曙亮9 小时前
【FFmpeg】FFmpeg 内存结构 ③ ( AVPacket 函数简介 | av_packet_ref 函数 | av_packet_clone 函数 )
ffmpeg·音视频·avpacket·av_packet_clone·av_packet_ref·ffmpeg内存结构
9527华安12 小时前
FPGA实现PCIE3.0视频采集转10G万兆UDP网络输出,基于XDMA+GTH架构,提供工程源码和技术支持
网络·fpga开发·udp·音视频·xdma·pcie3.0·万兆网
电子科技圈13 小时前
XMOS携手合作伙伴晓龙国际联合推出集成了ASRC等功能的多通道音频板
科技·嵌入式硬件·mcu·物联网·音视频·iot
码码哈哈0.013 小时前
免费的视频混剪综合处理工具介绍与下载
音视频
莫固执,朋友13 小时前
网络抓包工具tcpdump 在海思平台上的编译使用
网络·ffmpeg·音视频·tcpdump
深海呐14 小时前
Android 从本地选择视频,用APP播放或进行其他处理
android·音视频·从本地选择视频,用app播放·从本地选择视频,并拿到信息·跳转到本地视频列表
cuijiecheng201814 小时前
音视频入门基础:MPEG2-TS专题(6)——FFmpeg源码中,获取MPEG2-TS传输流每个transport packet长度的实现
ffmpeg·音视频
安静读书17 小时前
Java解析视频FPS(帧率)、分辨率信息
java·python·音视频
VisionX Lab19 小时前
数据脱敏工具:基于 FFmpeg 的视频批量裁剪
python·ffmpeg·音视频