FFmpeg开发学习：音视频封装

CrabKA2025-03-28 10:37

1.基本流程

1.输入参数

输出文件路径 char *output

视频编码参数 AVCodecParameters *video_par

音频编码参数 AVCodecParameters *audio_par

数据包 AVPacket *packets[]

2.封装流程

（1）创建输出的上下文AVFormatContext指针

cpp 复制代码 
AVFormatContext *out_fmt_ctx = nullptr;
    AVStream *video_stream = nullptr;
    AVStream *audio_stream = nullptr;

    //创建输出的上下文以及添加视频流和音频流
    if(avformat_alloc_output_context2(&out_fmt_ctx, nullptr, nullptr, output_filename) < 0) {
        fprintf(stderr, "falied to create output context\n");
        return;
    }

（2）添加AVStream的视频流和音频流

cpp 复制代码 
if(video_par) {
        video_stream = avformat_new_stream(out_fmt_ctx, nullptr);
        avcodec_parameters_copy(video_stream->codecpar, video_par);
        video_stream->time_base = (AVRational){1, 1000};
    }

    if(audio_par) {
        audio_stream = avformat_new_stream(out_fmt_ctx, nullptr);
        avcodec_parameters_copy(audio_stream->codecpar, audio_par);
    }

（3）打开输出的目标文件

cpp 复制代码 
//打开输出的文件
    if(!(out_fmt_ctx->oformat->flags & AVFMT_NOFILE)) {
        if(avio_open(&out_fmt_ctx->pb, output_filename, AVIO_FLAG_WRITE) < 0) {
            fprintf(stderr, "can not open output file.\n" );
            return;
        }
    }

（4）写入文件头

cpp 复制代码 
//写入头文件
    if(avformat_write_header(out_fmt_ctx, nullptr) < 0) {
        fprintf(stderr, "error occurred when writing header.\n");
    }

（5）将所有的AVPacket写入AVStream

cpp 复制代码 
//写入所有packet
    for(int i=0; i<packet_count; i++) {
        AVPacket *pkt = packets[i];

        //根据类型设置正确的time_base和stream_index
        AVStream *out_stream = (pkt->stream_index==0) ? video_stream : audio_stream;
        AVRational in_tb = (pkt->stream_index==0) ? (AVRational){1, 1000} : (AVRational){1, 48000};

        //转换时间戳
        av_packet_rescale_ts(pkt, in_tb, out_stream->time_base);
        pkt->stream_index = out_stream->index;

        if(av_interleaved_write_frame(out_fmt_ctx, pkt) < 0) {
            fprintf(stderr, "failed to write packet.\n");
        }

        av_packet_unref(pkt);
    }

（5.1）设置正确的time_base和stream_index

cpp 复制代码 
//根据类型设置正确的time_base和stream_index
        AVStream *out_stream = (pkt->stream_index==0) ? video_stream : audio_stream;
        AVRational in_tb = (pkt->stream_index==0) ? (AVRational){1, 1000} : (AVRational){1, 48000};

（6）转换时间戳

cpp 复制代码 
//转换时间戳
        av_packet_rescale_ts(pkt, in_tb, out_stream->time_base);
        pkt->stream_index = out_stream->index;

（7）写入文件尾

cpp 复制代码 
    av_write_trailer(out_fmt_ctx);

（8）清理指针

cpp 复制代码 
if(!(out_fmt_ctx->oformat->flags & AVFMT_NOFILE)) {
        avio_closep(&out_fmt_ctx->pb);
    }
    avformat_free_context(out_fmt_ctx);

基本上可以理解为，对于音视频封装的输入数据，需要视频编码参数以及音频编码参数两个参数，以及相关的数据帧

使用ffmpeg进行封装时，需要利用api写入相关格式的文件头以及文件尾，然后按顺序处理数据帧。

2.程序示例

模拟256个数据帧的音视频数据，并封装为mp4文件

cpp 复制代码 
extern "C"{
#include <libavformat/avformat.h>
#include <libavcodec/avcodec.h>
#include <libavutil/mathematics.h>
#include <libavutil/timestamp.h>
#include <libavutil/avutil.h>
#include <libavutil/mem.h>
}

#include <cstdio>
#include <cstdlib>
#include <cstring>


inline void mux_audio_video(const char *output_filename,
    AVCodecParameters *video_par,
    AVCodecParameters *audio_par,
    AVPacket *packets[], int packet_count) {

    AVFormatContext *out_fmt_ctx = nullptr;
    AVStream *video_stream = nullptr;
    AVStream *audio_stream = nullptr;

    //创建输出的上下文以及添加视频流和音频流
    if(avformat_alloc_output_context2(&out_fmt_ctx, nullptr, nullptr, output_filename) < 0) {
        fprintf(stderr, "falied to create output context\n");
        return;
    }

    if(video_par) {
        video_stream = avformat_new_stream(out_fmt_ctx, nullptr);
        avcodec_parameters_copy(video_stream->codecpar, video_par);
        video_stream->time_base = (AVRational){1, 1000};
    }

    if(audio_par) {
        audio_stream = avformat_new_stream(out_fmt_ctx, nullptr);
        avcodec_parameters_copy(audio_stream->codecpar, audio_par);
    }

    //打开输出的文件
    if(!(out_fmt_ctx->oformat->flags & AVFMT_NOFILE)) {
        if(avio_open(&out_fmt_ctx->pb, output_filename, AVIO_FLAG_WRITE) < 0) {
            fprintf(stderr, "can not open output file.\n" );
            return;
        }
    }

    //写入头文件
    if(avformat_write_header(out_fmt_ctx, nullptr) < 0) {
        fprintf(stderr, "error occurred when writing header.\n");
    }

    //写入所有packet
    for(int i=0; i<packet_count; i++) {
        AVPacket *pkt = packets[i];

        //根据类型设置正确的time_base和stream_index
        AVStream *out_stream = (pkt->stream_index==0) ? video_stream : audio_stream;
        AVRational in_tb = (pkt->stream_index==0) ? (AVRational){1, 1000} : (AVRational){1, 48000};

        //转换时间戳
        av_packet_rescale_ts(pkt, in_tb, out_stream->time_base);
        pkt->stream_index = out_stream->index;

        if(av_interleaved_write_frame(out_fmt_ctx, pkt) < 0) {
            fprintf(stderr, "failed to write packet.\n");
        }

        av_packet_unref(pkt);
    }

    //写入尾部信息
    av_write_trailer(out_fmt_ctx);

    //清理
    if(!(out_fmt_ctx->oformat->flags & AVFMT_NOFILE)) {
        avio_closep(&out_fmt_ctx->pb);
    }
    avformat_free_context(out_fmt_ctx);
    return;


}
cpp 复制代码 
extern "C" {
#include <libavformat/avformat.h>
#include <libavcodec/avcodec.h>
#include <libavutil/mathematics.h>
#include <libavutil/timestamp.h>
#include <libavutil/avutil.h>
#include <libavutil/mem.h>
}

#include <cstdio>
#include <cstdlib>
#include <cstring>

#include "function/mux_demux_case.h"
#define FAKE_PACKET_COUNT 10

#include "function/libavformat_case.h"


int main() {
    av_log_set_level(AV_LOG_INFO);

    const char *filename = "D:/Cpp/FFmpegUsingCase/test_output.mp4";

    // 初始化视频参数
    AVCodecParameters *vpar = avcodec_parameters_alloc();
    vpar->codec_type = AVMEDIA_TYPE_VIDEO;
    vpar->codec_id = AV_CODEC_ID_H264;
    vpar->width = 1280;
    vpar->height = 720;
    vpar->format = AV_PIX_FMT_YUV420P;
    vpar->bit_rate = 400000;

    // 初始化音频参数
    AVCodecParameters *apar = avcodec_parameters_alloc();
    apar->codec_type = AVMEDIA_TYPE_AUDIO;
    apar->codec_id = AV_CODEC_ID_AAC;
    apar->sample_rate = 48000;
    apar->ch_layout.nb_channels = 2;
    apar->frame_size = 1024;
    // apar->channel_layout = AV_CH_LAYOUT_STEREO;
    apar->ch_layout.order = AV_CHANNEL_ORDER_NATIVE;
    apar->ch_layout.u.mask = AV_CH_LAYOUT_STEREO;
    apar->format = AV_SAMPLE_FMT_FLTP;
    apar->bit_rate = 128000;

    // 模拟一些 AVPacket
    AVPacket *packet_array[FAKE_PACKET_COUNT];
    for (int i = 0; i < FAKE_PACKET_COUNT; i++) {
        AVPacket *pkt = av_packet_alloc();
        pkt->data = (uint8_t *)av_malloc(100); // 模拟数据内容
        pkt->size = 100;
        pkt->pts = i * 40;
        pkt->dts = i * 40;
        pkt->duration = 40;
        pkt->stream_index = i % 2; // 偶数为视频帧，奇数为音频帧
        if (i % 5 == 0)
            pkt->flags |= AV_PKT_FLAG_KEY;
        packet_array[i] = pkt;
    }

    // 封装并输出到文件
    mux_audio_video(filename, vpar, apar, packet_array, FAKE_PACKET_COUNT);

    printf("finished: %s\n", filename);

    // 清理参数结构体
    avcodec_parameters_free(&vpar);
    avcodec_parameters_free(&apar);

    printAVFormatContextCase(filename);

    return 0;
}
相关推荐
醉暮天1 分钟前
4.25学习——文件上传之00截断
学习
byte轻骑兵3 小时前
【HFP】蓝牙HFP协议中音频连接转移与拨号功能的深度解析
音视频·蓝牙技术·hfp
blackA_3 小时前
数据库MySQL学习——day4（更多查询操作与更新数据）
数据库·学习·mysql
梁下轻语的秋缘5 小时前
每日c/c++题 备战蓝桥杯(P1049 [NOIP 2001 普及组] 装箱问题)
c语言·c++·学习·蓝桥杯
球求了6 小时前
C++：继承机制详解
开发语言·c++·学习
时光追逐者6 小时前
MongoDB从入门到实战之MongoDB快速入门（附带学习路线图）
数据库·学习·mongodb
一弓虽7 小时前
SpringBoot 学习
java·spring boot·后端·学习
邪恶的贝利亚8 小时前
一些有关ffmpeg 使用（1）
ffmpeg
genggeng不会代码8 小时前
用于协同显著目标检测的小组协作学习 2021 GCoNet（总结）
学习
搞机小能手9 小时前
六个能够白嫖学习资料的网站
笔记·学习·分类
热门推荐
01KGG转MP3工具|非KGM文件|解密音频02从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑03我决定放弃搞 Java 了04YOLOv5改进 | 添加CA注意力机制 + 增加预测层 + 更换损失函数之GIoU05YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】06DeepSeek各版本说明与优缺点分析07西电B测-计算机网络综合实验(含验收问题)08yolov8，yolo11，yolo12 服务器训练到部署全流程 笔记09苍穹外卖面试总结102025tg最新免费社工库机器人