ffmpeg 内存模型

最近在学习ffmpeg,阅读了一些packet和frame关于内存操作的api。在此长话短说,只说核心点。

ffmpeg模型

AVFrame 表示编码前的原始数据帧 ,AVPacket 表示编码后的压缩数据包

问题:

(1)从av_read_frame读取到一个AVPacket后怎么放入队列?

(2)从avcodec_recevice_frame读取到一个AVFrame后又怎么放入队列?

一句话就是:通过std::move转移,既然是move那就有内存模型。从现有的Packet拷贝一个新Packet的时候,有两种情况:

• ①两个Packet的buf引用的是同一数据缓存空间,这时 候要注意数据缓存空间的释放问题;

• ②两个Packet的buf引用不同的数据缓存空间,每个 Packet都有数据缓存空间的copy;

avpacket和avframe设计

cpp 复制代码
AVFrame 结构体代表一个音频或视频帧
• data:解码后的图像像素数据(音频采样数据)
• linesize:对视频来说是图像中一行像素的大小;对音频来说是整个音频帧的大小
• width, height:图像的宽高(只针对视频)
• key_frame:是否为关键帧(只针对视频) 。
• pict_type:帧类型(只针对视频) 。例如I, P, B
• sample_rate:音频采样率(只针对音频)
• nb_samples:该音频帧中包含的采样数量
• pts:显示时间戳
• channel_layout: 音频数据的通道布局,单声道音频只有一个声道,
即左右声道完全相同。立体声(双声道)音频有两个独立的声道,分别对应左声道和右声道。

• format:对于视频帧:视频帧的像素格式,例如 AV_PIX_FMT_RGB24、AV_PIX_FMT_YUV420P 等。
对于音频帧:表示该音频帧的采样格式,例如 AV_SAMPLE_FMT_S16、AV_SAMPLE_FMT_FLT 等。

AVPacket 结构体代表一个压缩的音频或视频帧
• pts:显示时间戳
• dts:解码时间戳
• data:压缩编码数据
• size:压缩编码数据大小
• pos:数据的偏移地址
• stream_index:所属的AVStream

常用API

AVPacket

cpp 复制代码
AVPacket *av_packet_alloc(void);   
 malloc分配AVPacket对象	这个时候buffer并没malloc
void av_packet_free(AVPacket **pkt);  
 释放AVPacket 和_alloc对应
void av_init_packet(AVPacket *pkt); 
 初始化AVPacket字段为null,不分配内存
int av_new_packet(AVPacket *pkt, int size); 
 buff分配内存,并初始化pkt,引用计数初始化为1 所有不能再调用init了 导致buffer指针丢失
int av_packet_ref(AVPacket *dst, const AVPacket *src); 
增加引用计数 多次ref如果没有对应多次unref将会内存泄漏
void av_packet_unref(AVPacket *pkt); 					
清空pkt pack->buff 引用计数为0释放 并调用init
void av_packet_move_ref(AVPacket *dst, AVPacket *src);  
转移引用计数后init(src) 需要free(src)
AVPacket *av_packet_clone(const AVPacket *src); 	
等于 深拷贝 av_packet_alloc()+av_packet_ref()
*pkt2 = *pkt;  语义:  void av_packet_move_ref(pkt2, pkt);  
 

AVFrame

与avpacket使用类似

cpp 复制代码
AVFrame *av_frame_alloc(void); 
分配AVFrame
int av_frame_get_buffer(AVFrame *frame, int align); 
根据AVFrame分配内存
void av_frame_free(AVFrame **frame); 
释放AVFrame
int av_frame_ref(AVFrame *dst, const AVFrame *src); 
增加引用计数
void av_frame_unref(AVFrame *frame); 减少引用计数
void av_frame_move_ref(AVFrame *dst, AVFrame *src); 
转移引用计数
AVFrame *av_frame_clone(const AVFrame *src);     
等于av_frame_alloc() + av_frame_ref()
int av_frame_make_writable(AVFrame *frame);  
用来确保一个 AVFrame 是独立且可以被安全地写入的。如果 AVFrame 只有一个引用,
那么直接返回 AVFrame 本身。如果 AVFrame 有多个引用,那么它会创建一个新的独立的
 AVFrame,并将数据拷贝到新的 AVFrame 中。
这样做的目的是为了防止多个引用同时修改 AVFrame 的数据缓冲区,从而引发数据竞争和崩溃问题。

图解

avpacket使用坑点 内存泄漏

多次ref调用

cpp 复制代码
void av_packet_test5()
{
    AVPacket *pkt = NULL;
    AVPacket *pkt2 = NULL;
    int ret = 0;
    pkt = av_packet_alloc(); //
    ret = av_new_packet(pkt, MEM_ITEM_SIZE);
    memccpy(pkt->data, (void *)&av_packet_test1, 1, MEM_ITEM_SIZE);

    pkt2 = av_packet_alloc();   // 必须先alloc
    av_packet_move_ref(pkt2, pkt); // av_packet_move_ref

    av_packet_ref(pkt, pkt2);
    av_packet_ref(pkt, pkt2);     // 多次ref如果没有对应多次unref将会内存泄漏
    
    if(pkt->buf)        // 打印referenc-counted,必须保证传入的是有效指针
    {    printf("%s(%d) ref_count(pkt) = %d\n", __FUNCTION__, __LINE__,av_buffer_get_ref_count(pkt->buf)); //3
    }
    if(pkt2->buf)        // 打印referenc-counted,必须保证传入的是有效指针
    {    printf("%s(%d) ref_count(pkt) = %d\n", __FUNCTION__, __LINE__,
               av_buffer_get_ref_count(pkt2->buf));//3
    }
    av_packet_unref(pkt);   // 将为2
    av_packet_unref(pkt);   // 做第二次是没有用的

    if(pkt->buf)
        printf("pkt->buf没有被置NULL\n"); 
    else
        printf("pkt->buf已经被置NULL\n"); //执行

     if(pkt2->buf)        // 打印referenc-counted,必须保证传入的是有效指针
    {    printf("%s(%d) ref_count(pkt) = %d\n", __FUNCTION__, __LINE__,
               av_buffer_get_ref_count(pkt2->buf)); //2
    }
     av_packet_unref(pkt2); //1  而pkt和pkt2 都已经解除引用 但是引用计数还是1 这就导致buff内存泄漏了。


   
    av_packet_free(&pkt);  
    av_packet_free(&pkt2);
}

init乱用

cpp 复制代码
void av_packet_test4()
{
    AVPacket *pkt = NULL;
    // av_packet_alloc()没有必要,因为av_packet_clone内部有调用 av_packet_alloc
    AVPacket *pkt2 = NULL;
    int ret = 0;

    pkt = av_packet_alloc();
    ret = av_new_packet(pkt, MEM_ITEM_SIZE);
    memccpy(pkt->data, (void *)&av_packet_test1, 1, MEM_ITEM_SIZE);
    pkt2 = av_packet_clone(pkt); // av_packet_alloc()+av_packet_ref(), 调用该函数后,pkt和pkt2对应的buf引用计数变成2
    av_init_packet(pkt);  // 这里是故意去做init的操作,让这个函数出现内存泄漏
    av_packet_free(&pkt);   // pkt在调用av_init_packet后,对应的buff被置为NULL,在调用av_packet_free没法做引用计数-1的操作
    av_packet_free(&pkt2); // 触发引用计数变为1,但因为不是0,所以buff不会被释放,导致内存泄漏
}

avframe使用

cpp 复制代码
void av_frame_test1()
{

    AVFrame *frame = NULL;
    int ret = 0;

    frame = av_frame_alloc();// 没有类似的AVPacket的av_new_packet的API
    // 1024 *2 * (16/8) =
    frame->nb_samples     = 1024; 
    //AV_SAMPLE_FMT_S16P 非交错 AV_SAMPLE_FMT_S16 交错
    frame->format         = AV_SAMPLE_FMT_S16P;
    //AV_CH_LAYOUT_MONO 单声道 AV_CH_LAYOUT_STEREO 立体声
    frame->channel_layout = AV_CH_LAYOUT_STEREO; 
    ret = av_frame_get_buffer(frame, 0);    // 根据格式分配内存
    {
        if(frame->buf && frame->buf[0])
36            printf("%s(%d) 1 frame->buf[0]->size = %d\n", __FUNCTION__, __LINE__, frame->buf[0]->size);    //受frame->format等参数影响
        if(frame->buf && frame->buf[1])
38            printf("%s(%d) 1 frame->buf[1]->size = %d\n", __FUNCTION__, __LINE__, frame->buf[1]->size);    //受frame->format等参数影响

    }

    if(frame->buf && frame->buf[0])        // 打印referenc-counted,必须保证传入的是有效指针
42      printf("%s(%d) ref_count1(frame) = %d\n", __FUNCTION__, __LINE__, av_buffer_get_ref_count(frame->buf[0]));

    // ref_count1(frame) = 1
    ret = av_frame_make_writable(frame);    // 当frame本身为空时不能make writable
    printf("av_frame_make_writable ret = %d\n", ret);

49    if(frame->buf && frame->buf[0])        // 打印referenc-counted,必须保证传入的是有效指针
        printf("%s(%d) ref_count2(frame) = %d\n", __FUNCTION__, __LINE__
               , av_buffer_get_ref_count(frame->buf[0]));

    av_frame_unref(frame);
    if(frame->buf && frame->buf[0])        // 打印referenc-counted,必须保证传入的是有效指针
        printf("%s(%d) ref_count3(frame) = %d\n", __FUNCTION__, __LINE__
               , av_buffer_get_ref_count(frame->buf[0]));

    av_frame_free(&frame);
}
cpp 复制代码
av_frame_test1(36) 1 frame->buf[0]->size = 2048
av_frame_test1(38) 1 frame->buf[1]->size = 2048
av_frame_test1(42) ref_count1(frame) = 1
av_frame_make_writable ret = 0
av_frame_test1(49) ref_count2(frame) = 1
相关推荐
EasyCVR3 小时前
EHOME视频平台EasyCVR视频融合平台使用OBS进行RTMP推流,WebRTC播放出现抖动、卡顿如何解决?
人工智能·算法·ffmpeg·音视频·webrtc·监控视频接入
简鹿办公4 小时前
使用 FFmpeg 进行音视频转换的相关命令行参数解释
ffmpeg·简鹿视频格式转换器·ffmpeg视频转换
EasyCVR8 小时前
萤石设备视频接入平台EasyCVR多品牌摄像机视频平台海康ehome平台(ISUP)接入EasyCVR不在线如何排查?
运维·服务器·网络·人工智能·ffmpeg·音视频
runing_an_min8 小时前
ffmpeg 视频滤镜:屏蔽边框杂色- fillborders
ffmpeg·音视频·fillborders
岁月小龙18 小时前
如何让ffmpeg运行时从当前目录加载库,而不是从/lib64
ffmpeg·origin·ffprobe·rpath
行者记2 天前
ffmpeg命令——从wireshark包中的rtp包中分离h264
测试工具·ffmpeg·wireshark
EasyCVR2 天前
国标GB28181视频平台EasyCVR私有化视频平台工地防盗视频监控系统方案
运维·科技·ffmpeg·音视频·1024程序员节·监控视频接入
hypoqqq2 天前
使用ffmpeg播放rtsp视频流
ffmpeg
cuijiecheng20182 天前
音视频入门基础:FLV专题(24)——FFmpeg源码中,获取FLV文件视频信息的实现
ffmpeg·音视频
QMCY_jason2 天前
黑豹X2 armbian 编译rkmpp ffmpeg 实现CPU视频转码
ffmpeg