最近在学习ffmpeg,阅读了一些packet和frame关于内存操作的api。在此长话短说,只说核心点。
ffmpeg模型
AVFrame 表示编码前的原始数据帧 ,AVPacket 表示编码后的压缩数据包。
问题:
(1)从av_read_frame读取到一个AVPacket后怎么放入队列?
(2)从avcodec_recevice_frame读取到一个AVFrame后又怎么放入队列?
一句话就是:通过std::move转移,既然是move那就有内存模型。从现有的Packet拷贝一个新Packet的时候,有两种情况:
• ①两个Packet的buf引用的是同一数据缓存空间,这时 候要注意数据缓存空间的释放问题;
• ②两个Packet的buf引用不同的数据缓存空间,每个 Packet都有数据缓存空间的copy;
avpacket和avframe设计
cpp
AVFrame 结构体代表一个音频或视频帧
• data:解码后的图像像素数据(音频采样数据)
• linesize:对视频来说是图像中一行像素的大小;对音频来说是整个音频帧的大小
• width, height:图像的宽高(只针对视频)
• key_frame:是否为关键帧(只针对视频) 。
• pict_type:帧类型(只针对视频) 。例如I, P, B
• sample_rate:音频采样率(只针对音频)
• nb_samples:该音频帧中包含的采样数量
• pts:显示时间戳
• channel_layout: 音频数据的通道布局,单声道音频只有一个声道,
即左右声道完全相同。立体声(双声道)音频有两个独立的声道,分别对应左声道和右声道。
• format:对于视频帧:视频帧的像素格式,例如 AV_PIX_FMT_RGB24、AV_PIX_FMT_YUV420P 等。
对于音频帧:表示该音频帧的采样格式,例如 AV_SAMPLE_FMT_S16、AV_SAMPLE_FMT_FLT 等。
AVPacket 结构体代表一个压缩的音频或视频帧
• pts:显示时间戳
• dts:解码时间戳
• data:压缩编码数据
• size:压缩编码数据大小
• pos:数据的偏移地址
• stream_index:所属的AVStream
常用API
AVPacket
cpp
AVPacket *av_packet_alloc(void);
malloc分配AVPacket对象 这个时候buffer并没malloc
void av_packet_free(AVPacket **pkt);
释放AVPacket 和_alloc对应
void av_init_packet(AVPacket *pkt);
初始化AVPacket字段为null,不分配内存
int av_new_packet(AVPacket *pkt, int size);
buff分配内存,并初始化pkt,引用计数初始化为1 所有不能再调用init了 导致buffer指针丢失
int av_packet_ref(AVPacket *dst, const AVPacket *src);
增加引用计数 多次ref如果没有对应多次unref将会内存泄漏
void av_packet_unref(AVPacket *pkt);
清空pkt pack->buff 引用计数为0释放 并调用init
void av_packet_move_ref(AVPacket *dst, AVPacket *src);
转移引用计数后init(src) 需要free(src)
AVPacket *av_packet_clone(const AVPacket *src);
等于 深拷贝 av_packet_alloc()+av_packet_ref()
*pkt2 = *pkt; 语义: void av_packet_move_ref(pkt2, pkt);
AVFrame
与avpacket使用类似
cpp
AVFrame *av_frame_alloc(void);
分配AVFrame
int av_frame_get_buffer(AVFrame *frame, int align);
根据AVFrame分配内存
void av_frame_free(AVFrame **frame);
释放AVFrame
int av_frame_ref(AVFrame *dst, const AVFrame *src);
增加引用计数
void av_frame_unref(AVFrame *frame); 减少引用计数
void av_frame_move_ref(AVFrame *dst, AVFrame *src);
转移引用计数
AVFrame *av_frame_clone(const AVFrame *src);
等于av_frame_alloc() + av_frame_ref()
int av_frame_make_writable(AVFrame *frame);
用来确保一个 AVFrame 是独立且可以被安全地写入的。如果 AVFrame 只有一个引用,
那么直接返回 AVFrame 本身。如果 AVFrame 有多个引用,那么它会创建一个新的独立的
AVFrame,并将数据拷贝到新的 AVFrame 中。
这样做的目的是为了防止多个引用同时修改 AVFrame 的数据缓冲区,从而引发数据竞争和崩溃问题。
图解
avpacket使用坑点 内存泄漏
多次ref调用
cpp
void av_packet_test5()
{
AVPacket *pkt = NULL;
AVPacket *pkt2 = NULL;
int ret = 0;
pkt = av_packet_alloc(); //
ret = av_new_packet(pkt, MEM_ITEM_SIZE);
memccpy(pkt->data, (void *)&av_packet_test1, 1, MEM_ITEM_SIZE);
pkt2 = av_packet_alloc(); // 必须先alloc
av_packet_move_ref(pkt2, pkt); // av_packet_move_ref
av_packet_ref(pkt, pkt2);
av_packet_ref(pkt, pkt2); // 多次ref如果没有对应多次unref将会内存泄漏
if(pkt->buf) // 打印referenc-counted,必须保证传入的是有效指针
{ printf("%s(%d) ref_count(pkt) = %d\n", __FUNCTION__, __LINE__,av_buffer_get_ref_count(pkt->buf)); //3
}
if(pkt2->buf) // 打印referenc-counted,必须保证传入的是有效指针
{ printf("%s(%d) ref_count(pkt) = %d\n", __FUNCTION__, __LINE__,
av_buffer_get_ref_count(pkt2->buf));//3
}
av_packet_unref(pkt); // 将为2
av_packet_unref(pkt); // 做第二次是没有用的
if(pkt->buf)
printf("pkt->buf没有被置NULL\n");
else
printf("pkt->buf已经被置NULL\n"); //执行
if(pkt2->buf) // 打印referenc-counted,必须保证传入的是有效指针
{ printf("%s(%d) ref_count(pkt) = %d\n", __FUNCTION__, __LINE__,
av_buffer_get_ref_count(pkt2->buf)); //2
}
av_packet_unref(pkt2); //1 而pkt和pkt2 都已经解除引用 但是引用计数还是1 这就导致buff内存泄漏了。
av_packet_free(&pkt);
av_packet_free(&pkt2);
}
init乱用
cpp
void av_packet_test4()
{
AVPacket *pkt = NULL;
// av_packet_alloc()没有必要,因为av_packet_clone内部有调用 av_packet_alloc
AVPacket *pkt2 = NULL;
int ret = 0;
pkt = av_packet_alloc();
ret = av_new_packet(pkt, MEM_ITEM_SIZE);
memccpy(pkt->data, (void *)&av_packet_test1, 1, MEM_ITEM_SIZE);
pkt2 = av_packet_clone(pkt); // av_packet_alloc()+av_packet_ref(), 调用该函数后,pkt和pkt2对应的buf引用计数变成2
av_init_packet(pkt); // 这里是故意去做init的操作,让这个函数出现内存泄漏
av_packet_free(&pkt); // pkt在调用av_init_packet后,对应的buff被置为NULL,在调用av_packet_free没法做引用计数-1的操作
av_packet_free(&pkt2); // 触发引用计数变为1,但因为不是0,所以buff不会被释放,导致内存泄漏
}
avframe使用
cpp
void av_frame_test1()
{
AVFrame *frame = NULL;
int ret = 0;
frame = av_frame_alloc();// 没有类似的AVPacket的av_new_packet的API
// 1024 *2 * (16/8) =
frame->nb_samples = 1024;
//AV_SAMPLE_FMT_S16P 非交错 AV_SAMPLE_FMT_S16 交错
frame->format = AV_SAMPLE_FMT_S16P;
//AV_CH_LAYOUT_MONO 单声道 AV_CH_LAYOUT_STEREO 立体声
frame->channel_layout = AV_CH_LAYOUT_STEREO;
ret = av_frame_get_buffer(frame, 0); // 根据格式分配内存
{
if(frame->buf && frame->buf[0])
36 printf("%s(%d) 1 frame->buf[0]->size = %d\n", __FUNCTION__, __LINE__, frame->buf[0]->size); //受frame->format等参数影响
if(frame->buf && frame->buf[1])
38 printf("%s(%d) 1 frame->buf[1]->size = %d\n", __FUNCTION__, __LINE__, frame->buf[1]->size); //受frame->format等参数影响
}
if(frame->buf && frame->buf[0]) // 打印referenc-counted,必须保证传入的是有效指针
42 printf("%s(%d) ref_count1(frame) = %d\n", __FUNCTION__, __LINE__, av_buffer_get_ref_count(frame->buf[0]));
// ref_count1(frame) = 1
ret = av_frame_make_writable(frame); // 当frame本身为空时不能make writable
printf("av_frame_make_writable ret = %d\n", ret);
49 if(frame->buf && frame->buf[0]) // 打印referenc-counted,必须保证传入的是有效指针
printf("%s(%d) ref_count2(frame) = %d\n", __FUNCTION__, __LINE__
, av_buffer_get_ref_count(frame->buf[0]));
av_frame_unref(frame);
if(frame->buf && frame->buf[0]) // 打印referenc-counted,必须保证传入的是有效指针
printf("%s(%d) ref_count3(frame) = %d\n", __FUNCTION__, __LINE__
, av_buffer_get_ref_count(frame->buf[0]));
av_frame_free(&frame);
}
cpp
av_frame_test1(36) 1 frame->buf[0]->size = 2048
av_frame_test1(38) 1 frame->buf[1]->size = 2048
av_frame_test1(42) ref_count1(frame) = 1
av_frame_make_writable ret = 0
av_frame_test1(49) ref_count2(frame) = 1