音视频解码 AVIO内存输入模式

原因

根据下文,我们已经学会了如何从本地文件读取数据,对音视频进行解码操作得到原始数据。

ffmpeg 音视频解码-CSDN博客

现在有一个需求,网络读取到的数据,也就是内存数据如何直接进行解码操作?

本文就是介绍解决这个问题。

AVIO内存输入模式

AVIO内存输入模式是FFmpeg库中用于处理多媒体数据的一种方式,它允许数据直接从内存中读取或写入,而不是通过文件系统。这种模式的特点主要包括:

  1. 灵活性:AVIO内存输入模式提供了一种机制,可以直接从内存读取数据,适用于数据已经加载到内存中,或者需要从非文件源(如网络流)读取数据的情况 。

  2. 性能:由于数据直接在内存中处理,避免了磁盘I/O操作,这可以减少延迟,提高处理速度 。

  3. 自定义IO操作 :用户可以自定义AVIO的输入和输出函数,实现特定的数据处理逻辑,例如裁剪、缩放或添加水印等操作,而无需先将数据写入磁盘 。

  4. 内存管理 :使用AVIOContext结构体进行内存管理,其中包括了读写缓存、读写函数指针、读写偏移量等信息,支持自定义协议和数据源 。

  5. 高效数据处理:AVIO内存输入模式支持从内存流中读取媒体数据,解码器可以直接对这些数据进行解码,然后由播放器呈现,这提供了无缝的媒体播放体验 。

  6. 节约资源:由于避免了磁盘操作,这种模式可以减少对磁盘空间的占用,节省存储资源 。

  7. 应用广泛:适用于多种多媒体应用,包括在线视频播放、本地视频播放和媒体处理等场景 。

  8. 回调机制 :通过回调函数read_packetwrite_packet实现自定义的读写逻辑,这些回调函数会在需要从输入源读取或向输出源写入数据时被调用 。

  9. 结构体管理AVIOContext结构体用于管理输入/输出缓冲区,通过avio_alloc_context()函数分配并初始化,支持设置自定义的读写和定位操作回调函数 。

  10. API支持 :FFmpeg提供了丰富的API支持,包括av_malloc()avio_alloc_context()avcodec_find_decoder()av_read_frame()等,以实现内存输入和输出的高效管理 。

综上所述,AVIO内存输入模式以其高效、灵活和可定制的特点,在多媒体数据处理中发挥着重要作用。

主要使用流程和api介绍

下列主要介绍使用avio内存输入模式,进行初始化,数据来源绑定以及读取数据。

cpp 复制代码
//1.自定义io  稍后必须用av_free()释放
io_buf=(uint8_t*)av_malloc(IO_BUFFER_SIZE);

/**2.定义io上下文
* 分配并初始化一个AVIOContext对象,用于缓冲式I/O操作。
之后必须使用avio_context_free()函数释放该对象。

* @param buffer 用于通过AVIOContext进行输入/输出操作的内存块。
* @param buffer_size 缓冲区的大小对于性能非常重要。
* 对于具有固定块大小的协议,应将其设置为该块大小。
* 对于其他协议,典型的大小是一个缓存页,例如4KB。

* @param write_flag 设置为1表示缓冲区可写,否则设置为0。
* @param opaque 是 read_packet / write_packet 的第⼀个参数,指向⽤户数据。
* @param read_packet 用于重新填充缓冲区的函数,可以为NULL。
* 对于流协议,必须永远返回非0值,而不是适当的AVERROR代码。
* @param write_packet 用于写入缓冲区内容的函数,可以为NULL。
* 该函数不得更改输入缓冲区的内容。
* @param seek 用于跳转到指定字节位置的函数,可以为NULL。
* return  分配的 AVIOContext 对象,或者在失败时返回 NULL。
*/
avio_ctx = avio_alloc_context(io_buf,IO_BUFFER_SIZE
                                                   ,0,(void*)infd
                                                   ,read_packet
                                                   ,nullptr,nullptr);
//3 创建视频信息对象。
AVFormatContext 主要是数据存储 封装格式上下文结构体,也是统领全局的结构体,保存了视频文件封装格式相关信息。
fmt_ctx = avformat_alloc_context();
fmt_ctx->pb=avio_ctx; // 绑定I/O 上下文

//4.打开io
ret = avformat_open_input(&fmt_ctx,NULL,NULL,NULL);//打开输入视频文件


//5. 数据来源avio 读取一帧数据 存储到pkt 然后进行解码操作
ret = av_read_frame(fmt_ctx,pkt);
decode(codec_ctx,pkt,frame,outfd);

总结

ffmpeg提供了avio内存输入模式,让我们在对音视频处理时更得心应手。可以对内存中的数据直接操作,而不是读取io文件。

相关推荐
小草cys34 分钟前
使用 Coze 工作流一键生成抖音书单视频:全流程拆解与技术实现
人工智能·音视频·工作流·coze
Jack153027682798 小时前
GC1808:高性能音频ADC的卓越之选
单片机·嵌入式硬件·音视频·医疗器械·电动工具·家电产品
想躺在地上晒成地瓜干8 小时前
树莓派超全系列教程文档--(62)使用rpicam-app通过网络流式传输视频
linux·网络·音视频·树莓派·raspberrypi·树莓派教程
追随远方8 小时前
Android高性能音频与图形开发:OpenSL ES与OpenGL ES最佳实践
android·elasticsearch·音视频
Sleepless_斑马8 小时前
【FFmpeg学习(2)】视频概念
学习·ffmpeg·音视频
加油搞钱加油搞钱10 小时前
鹰盾加密器基于AI的视频个性化压缩技术深度解析:从智能分析到无损压缩实践
人工智能·音视频·视频加密·鹰盾加密·鹰盾播放器
9527华安11 小时前
国产安路FPGA实现图像视频采集转HDMI输出,提供5套TD工程源码和技术支持
fpga开发·音视频·安路·安路fpga·tangdynasty
深圳市青牛科技实业有限公司 小芋圆1 天前
GC1809:高性能音频接收与转换芯片
科技·单片机·嵌入式硬件·音视频·智能家居·新能源
xx155802862xx1 天前
Python如何给视频添加音频和字幕
java·python·音视频
Phoenixtree_DongZhao1 天前
感知万物:图像与视频中识别、解释、描述与分割万物
音视频