嵌入式音视频开发（一）ffmpeg框架及内核解析

系列文章目录

嵌入式音视频开发（零）移植ffmpeg及推流测试

嵌入式音视频开发（一）ffmpeg框架及内核解析

---

文章目录

• 系列文章目录
• 前言
• 一、ffmpeg的内核
• • [1.1 框架解析](#1.1 框架解析)
  • [1.2 内核解析](#1.2 内核解析)
  • [1.3 FFmpeg内部数据流](#1.3 FFmpeg内部数据流)
  • • [1.3.1 典型的解码流程](#1.3.1 典型的解码流程)
    • [1.3.2 典型的编码与推流流程](#1.3.2 典型的编码与推流流程)
    • [1.3.3 典型的滤镜处理流程](#1.3.3 典型的滤镜处理流程)
• 二、常用命令行工具及语法
• • [2.1 基本语法](#2.1 基本语法)
  • [2.2 视频/音频格式转换](#2.2 视频/音频格式转换)
  • [2.3 视频编辑](#2.3 视频编辑)
  • [2.3 音频处理](#2.3 音频处理)
  • [2.4 录屏与推流](#2.4 录屏与推流)

---

前言

前节简单介绍了ffmpeg，本节进行FFmpeg的整体架构和内核解读，以及常用命令行的使用。

一、ffmpeg的内核

1.1 框架解析

从图像中，我们可以看到FFmpeg 主要由以下核心库组成，每个库负责不同的功能：

• libavformat ------ 负责解析和封装多媒体文件（如 MP4、FLV、MKV）。
• libavcodec ------ 负责音视频编解码（支持 H.264、AAC、MP3 等）。
• libavfilter ------ 提供音视频滤镜功能（如添加水印、调整亮度）。

除此之外还有附件库：

• libavutil ------ 提供通用工具函数（如内存管理、日志处理）。
• libswscale ------ 处理视频像素格式转换和缩放（如 RGB 转 YUV）。
• libswresample ------ 处理音频格式转换（如 44.1kHz 到 48kHz）。

1.2 内核解析

FFmpeg 的底层由 C 语言实现，核心包含多个关键部分，如下图所示：

（1）AVFormatContext：利用封装格式处理

• 创建输出格式上下文
  • avformat_alloc_output_context2() 初始化一个输出格式上下文
• 文件 I/O：支持 avio_read()、avio_write() 操作
• 流管理：音视频数据流以 AVStream 形式存在
• 封装/解封装器：
  • avformat_find_stream_info() 解析格式
  • av_read_frame() 读取数据
  • av_write_frame() 写入数据

（2） AVCodecContext：音视频编解码

• 编码器/解码器注册
  • avcodec_register_all() 负责注册所有编解码器
• 帧处理
  • avcodec_send_packet() 发送数据包
  • avcodec_receive_frame() 获取解码数据
• 优化
  • 采用 SIMD 指令集加速（x86 SSE、ARM NEON），内部使用 Threading API 进行多线程优化

（3） AVFilterContext ：构建滤镜链

• 创建和配置滤镜链
  • avfilter_graph_create_filter() 创建滤镜链
  • avfilter_graph_parse_ptr() 解析滤镜链字符串，并添加到滤镜图中
• 编辑滤镜链
  • av_buffersrc_add_frame() 将数据帧添加到滤镜图的输入端。
  • av_buffersink_get_frame() 从滤镜图的输出端获取处理后的数据帧。

（4） libswscale：图像处理

• 图像缩放
  • sws_getContext() 创建缩放上下文
  • sws_scale() 执行缩放
• 颜色格式转换（如RGB->YUV）
  • swsContext() 色彩转换上下文
  • sws_getContext() 颜色空间转换

色彩格式	说明
AV_PIX_FMT_YUV420P	YUV 4:2:0，常见于 H.264 编码
AV_PIX_FMT_YUYV422	YUV 4:2:2，部分摄像头格式
AV_PIX_FMT_RGB24	每像素 24 位 RGB
AV_PIX_FMT_BGR24	每像素 24 位 BGR
AV_PIX_FMT_NV12	现代 GPU 常用的 YUV 4:2:0

（5） libswresample：音频格式转换

• 采样率转换、通道数调整
  • swr_alloc_set_opts()（创建转换上下文）
  • swr_convert()（执行转换）

（6） libavutil：通用工具库，如：数据类型转换、时间基准处理（AVRational）、日志管理、哈希计算（MD5、SHA）

1.3 FFmpeg内部数据流

1.3.1 典型的解码流程

avformat_open_input()   // 打开媒体文件
avformat_find_stream_info()  // 解析流信息
avcodec_find_decoder()   // 查找解码器
avcodec_alloc_context3() // 分配解码上下文
avcodec_open2()  // 打开解码器
while (av_read_frame()) {
    avcodec_send_packet() // 送入解码器
    avcodec_receive_frame() // 获取解码后数据
}

1.3.2 典型的编码与推流流程

avformat_alloc_output_context2()  // 创建输出格式上下文
avcodec_find_encoder()  // 查找编码器
avcodec_alloc_context3()  // 分配编码上下文
avcodec_open2()  // 打开编码器
while (获取原始帧) {
    avcodec_send_frame()  // 送入编码器
    avcodec_receive_packet()  // 获取压缩数据
    av_interleaved_write_frame()  // 推流
}

1.3.3 典型的滤镜处理流程

avfilter_graph_alloc()  // 创建滤镜图
avfilter_graph_parse_ptr()  // 解析滤镜描述
avfilter_graph_config()  // 配置滤镜
while (处理帧) {
    av_buffersrc_add_frame()  // 送入滤镜
    av_buffersink_get_frame()  // 获取输出
}

二、常用命令行工具及语法

2.1 基本语法

ffmpeg <global-options> <input-options> -i <input> <output-options> <output>  

• 全局参数（global-options）：日志输出，文件覆盖等全局选项.
• 输入文件参数（input-options）：读取文件的输入选项
• 输出文件参数（output-options）：转换（编解码器，质量等）或过滤或流映射

常用高频命令行参数如下所示：

参数	说明
-c	指定编码器
-c copy	直接复制，不经过重新编码
-c:v	指定视频编码器
-c:a	指定音频编码器
-i	指定输入文件
-an	去除音频流
-vn	去除视频流
-preset	指定输出的视频质量，会影响文件的生成速度，有以下几个可用的值 ultrafast, superfast, veryfast, faster, fast, medium, slow, slower, veryslow
-y	不经过确认，输出时直接覆盖同名文件

2.2 视频/音频格式转换

格式转换

// 将 input.mp4 转换为 output.avi（自动检测编解码器）
ffmpeg -i input.mp4 output.avi

// 将 MP3 转换为 WAV
ffmpeg -i input.mp3 output.wav

指定编码格式

// 使用 H.264 编码 和 AAC 音频编码 进行转换
ffmpeg -i input.mp4 -c:v libx264 -c:a aac output.mp4

2.3 视频编辑

裁剪视频

// 截取区间（截取 10-30 秒）
ffmpeg -i input.mp4 -ss 00:00:10 -to 00:00:30 -c copy output.mp4
-ss：起始时间（秒或 hh:mm:ss）
-to：结束时间

// 按时长裁剪（从 10 秒处开始，截取 20 秒）
ffmpeg -i input.mp4 -ss 10 -t 20 -c copy output.mp4
-t：截取的持续时间

// 裁剪视频画面（区域裁剪）
ffmpeg -i input.mp4 -vf "crop=640:480:100:50" output.mp4
- crop=width:height:x:y
	-(640, 480)：裁剪后的宽高
	-(100, 50)：裁剪起始位置（左上角坐标）

视频合并

// 直接合并多个相同格式的视频
ffmpeg -i "concat:input1.mp4|input2.mp4" -c copy output.mp4

// 不同格式视频合并（需要重新编码）
ffmpeg -i input1.mp4 -i input2.mp4 -filter_complex "[0:v:0][0:a:0][1:v:0][1:a:0]concat=n=2:v=1:a=1[outv][outa]" 
	/-map "[outv]" -map "[outa]" output.mp4
- concat=n=2:v=1:a=1：合并 2 个视频，带视频流 v=1 和音频流 a=1

2.3 音频处理

提取音频

ffmpeg -i input.mp4 -q:a 0 -map a output.mp3

替换视频的音频

ffmpeg -i input.mp4 -i new_audio.mp3 -c:v copy -c:a aac -strict experimental output.mp4

调整音量

ffmpeg -i input.mp3 -af "volume=2.0" output.mp3
	- volume=2.0：音量变为原来的 2 倍

2.4 录屏与推流

录屏

ffmpeg -f gdigrab -framerate 30 -i desktop output.mp4

录制摄像头

ffmpeg -f v4l2 -i /dev/video0 output.mp4
 - /dev/video0：摄像头设备

直播推流（RTMP）

ffmpeg -re -i input.mp4 -c:v libx264 -b:v 1000k -f flv rtmp://live_url
 - rtmp://live_url：推流服务器地址

---

免责声明：本文参考了网上公开的部分资料，仅供学习参考使用，若有侵权或勘误请联系笔者