主要参考：
全网最全FFmpeg教程，从新手到高手的蜕变指南 - 知乎 (zhihu.com)
FFmpeg入门教程（非常详细）从零基础入门到精通，看完这一篇就够了。-CSDN博客
FFmpeg教程（超级详细版） - 个人文章 - SegmentFault 思否
FFmpeg 是一个开源的跨平台音视频处理框架，在多媒体领域堪称 "神器"。它如同一个万能工具箱，涵盖了录制、转换、流化等一系列音视频处理功能，支持诸如 AVI、MP4、MOV、FLV、WMV、MPEG、MKV 等海量音视频格式，并且能在 Windows、Mac OS、Linux 等多种操作系统上稳定运行。
最初由法国计算机程序员 Fabrice Bellard 于 2000 年创建，这个项目的名称是 "FF"（代表 "Fast Forward"，快进之意）与 "mpeg"（流行的视频压缩标准 MPEG，即运动图像专家组）的组合。后来由 Michael Niedermayer 接手并持续开发，众多来自 MPlayer 项目的开发者也参与其中，为 FFmpeg 添砖加瓦，使其逐渐成长为功能完备的强大工具。
和其他音视频处理软件相比，FFmpeg 优势显著。比如格式工厂，虽然操作相对简便，有图形化界面，但在功能深度和定制化程度上远不及 FFmpeg，像复杂的滤镜添加、精准的码率控制等高级操作难以实现；再看 Adobe Premiere，虽专业剪辑功能强大，可学习成本高、授权费用不菲，而 FFmpeg 免费开源，学习资源丰富，能满足从基础格式转换到高级编解码、滤镜处理等多样化需求。
FFmpeg是音视频领域的底层基础设施，无论是开发者还是普通用户（通过GUI工具间接使用），几乎所有的多媒体处理背后都有它的身影。掌握FFmpeg的基本用法，能高效解决音视频转码、编辑、流媒体等问题。
ffmpeg是什么语言写的
FFmpeg 主要是用 C 语言 编写的，同时也包含少量 汇编语言 （针对关键性能模块的优化）和 脚本语言（如 Shell、Python 用于构建和测试）。以下是详细说明：
核心语言构成
|------|----------------|-----------------------------------------|
| 部分 | 语言 | 用途 |
| 主代码库 | C 语言 | 实现音视频编解码、封装/解封装、滤镜处理等核心功能（占比90%以上）。 |
| 性能优化 | 汇编语言（ASM） | 针对CPU指令集（如x86 SSE/AVX、ARM NEON）的硬件加速优化。 |
| 构建系统 | Shell/Makefile | 自动化编译配置（如configure脚本）。 |
| 测试工具 | Python/Perl | 部分测试脚本和工具开发（如fate测试框架）。 |为什么选择C语言？
高性能：C语言直接操作硬件和内存，适合音视频编解码的高效处理。
跨平台：易于移植到嵌入式设备（如ARM）、桌面系统（Windows/macOS/Linux）等。
生态成熟：大量音视频标准库（如libx264、libvpx）均以C接口提供。
关键代码示例
C语言核心逻辑（解码示例）
// 简化的FFmpeg解码流程（C代码） AVFormatContext *fmt_ctx = avformat_alloc_context(); avformat_open_input(&fmt_ctx, "input.mp4", NULL, NULL); // 打开文件 AVCodecContext *codec_ctx = avcodec_alloc_context3(codec); avcodec_open2(codec_ctx, codec, NULL); // 初始化解码器 AVPacket pkt; av_read_frame(fmt_ctx, &pkt); // 读取数据包 avcodec_send_packet(codec_ctx, &pkt); // 发送到解码器汇编优化（x86 SIMD示例）
; FFmpeg中H.264解码的x86 SIMD优化（片段） movdqu xmm0, [rsi] ; 加载16字节数据 paddw xmm0, xmm1 ; SIMD加法指令其他语言的辅助角色
Python ：用于测试和工具开发（如
ffmpeg-python封装库）。Perl：历史代码中的少量脚本（如生成文档）。
Rust/Go ：社区有封装库（如
go-ffmpeg），但FFmpeg本身未使用。如何参与开发？
必备技能：
熟练使用C语言（指针、内存管理、多线程）。
了解音视频基础（编解码、容器格式）。
学习代码：
- 从简单模块入手（如
libavformat中的文件读写）。提交补丁：
- 遵循FFmpeg的代码规范（如变量命名、提交日志格式）。
总结
FFmpeg的底层实现是C语言+汇编优化 ，确保了极致的性能和跨平台能力。如果需要调用FFmpeg的功能，可通过其C API，或使用高级语言（如Python）的封装库（如
ffmpeg-python）。
嵌入式中能使用ffmpeg吗
在嵌入式系统中使用 FFmpeg 是可行的，但需要根据硬件资源和应用场景进行裁剪和优化。以下是关键要点和具体实施方案：
能否使用FFmpeg？
可以，但有条件： FFmpeg 本身支持跨平台，但嵌入式设备通常资源有限（内存、CPU性能），需通过以下方式适配：
代码裁剪：禁用非必需模块（如视频编解码器、滤镜）。
交叉编译：针对目标平台（如ARM Cortex-A/MIPS）编译。
硬件加速：利用芯片的编解码引擎（如Rockchip VPU、NVIDIA Jetson NVENC）。
适用场景
|-----------------|---------------------------------------------------|
| 场景 | 推荐方案 |
| 低端MCU（无OS） | 不推荐，FFmpeg依赖文件系统和动态内存，适合RTOS或裸机定制化轻量库（如TinyH264）。 |
| 嵌入式Linux（ARM-A） | 裁剪后的FFmpeg + 硬件加速（如树莓派、瑞芯微RK系列）。 |
| 实时音视频处理 | 启用FFmpeg的快速解码模式（如-fast参数），或改用WebRTC（更低延迟）。 |如何裁剪FFmpeg？
① 配置时禁用非必需功能
# 示例：仅启用H.264解码和MP3解码，禁用其他模块 ./configure \ --enable-cross-compile \ --arch=armv7-a \ --target-os=linux \ --enable-decoder=h264 \ --enable-decoder=mp3 \ --disable-avdevice \ --disable-swresample \ --disable-postproc \ --disable-everything-else关键选项：
--disable-everything+ 按需启用模块。
--enable-small：启用优化以减少内存占用。② 手动裁剪源文件
删除
libavcodec中未使用的编解码器源码（如删除vp9.c以减少体积）。替换动态内存分配为静态分配（需修改FFmpeg源码，风险较高）。
资源占用参考
|----------------|------------|---------------|----------------------|
| 配置 | 内存占用 | 存储占用 | 适用硬件 |
| 全功能FFmpeg | >50MB RAM | >20MB Flash | 高性能SoC（如Jetson） |
| 仅H.264解码+MP3解码 | <10MB RAM | <2MB Flash | Cortex-A7（512MB RAM） |
| 仅Opus音频解码 | <1MB RAM | <500KB Flash | Cortex-M7（带MMU） |硬件加速集成
方案一：调用芯片厂商SDK
如Rockchip的
mpp库、NVIDIA的V4L2接口，通过FFmpeg的hwaccel选项启用：ffmpeg -hwaccel rkmpp -i input.h264 output.yuv
方案二：使用VAAPI/VDPAU
在Linux嵌入式平台（如树莓派）启用GPU加速：
ffmpeg -hwaccel vaapi -i input.mp4 output.mp4
替代方案（资源极度受限时）
音频：
轻量库：Opus（编码）、libmad（MP3解码）。
视频：
纯解码：TinyH264（无B帧支持）。
硬件方案：直接调用芯片厂商的编解码API（如海思Hi35xx的SDK）。
实战示例：树莓派视频播放
① 安装裁剪版FFmpeg
编译时仅启用H.264和硬件加速 ./configure --enable-mmal --enable-decoder=h264 --enable-hwaccel=h264_mmal make -j4
② 播放视频流
使用硬件加速解码 ffmpeg -hwaccel mmal -i input.h264 -f sdl2 "Video Output"
注意事项
许可协议：FFmpeg部分模块为GPL，商用需注意合规性（可选用LGPL配置）。
实时性：默认FFmpeg不保证实时性，需调整线程模型和缓冲策略。
调试工具 ：使用
strace监控系统调用，valgrind检测内存泄漏。总结
能用，但需裁剪：FFmpeg适合资源较丰富的嵌入式Linux平台（如ARM Cortex-A），通过禁用非必需模块和启用硬件加速可大幅降低资源占用。
替代方案：对于MCU级设备，优先选择轻量库（如Opus、TinyH264）或硬件编解码芯片。
关键步骤：交叉编译、硬件加速集成、动态内存优化。
如果需要具体平台的配置示例（如STM32MP157或全志H3），可进一步提供细节！
嵌入式里编解码库推荐
在嵌入式系统中选择编解码库时，需综合考虑硬件资源 （CPU性能、内存大小）、功耗 、实时性 和许可协议。以下是针对嵌入式环境的推荐编解码库，按音频和视频分类：
一、音频编解码库
轻量级语音编解码
|-----------|--------|---------------------|-------------------|
| 库名称 | 格式/算法 | 特点 | 适用场景 |
| Opus | Opus | 低延迟（<50ms），支持语音/音乐 | VoIP、语音助手（如Alexa） |
| Speex | Speex | 专为语音优化，低复杂度 | 对讲机、低功耗设备 |
| Codec2 | Codec2 | 超低比特率（2400bps） | 军事、卫星通信 |
| AMR-NB/WB | AMR | 3GPP标准，移动通信兼容 | 老旧嵌入式设备 |音乐/通用音频
|----------|-----|------------------|--------------|
| 库名称 | 格式 | 特点 | 适用场景 |
| libmad | MP3 | 定点运算，低内存占用 | MP3播放器 |
| AAC ELD | AAC | 低延迟扩展，适合实时流 | 无线音频传输 |
| TinyALSA | PCM | 轻量级ALSA接口，支持硬件加速 | Linux嵌入式音频驱动 |二、视频编解码库
软件编解码（无硬件加速）
|----------|---------|--------------------|-------------|
| 库名称 | 格式 | 特点 | 适用场景 |
| TinyH264 | H.264 | 纯解码，适合MCU（需外部RAM） | 低分辨率监控摄像头 |
| libvpx | VP8/VP9 | 开源，支持实时编码 | WebRTC嵌入式终端 |
| x264 | H.264 | 裁剪后可适配ARM Cortex-A | 视频录像机 |
| uAVS3e | AVS3 | 国产标准，低专利费 | 广电、监控设备 |硬件加速方案
|------------|--------------|-------------------|
| 平台/芯片 | 支持编解码 | 特点 |
| Rockchip | H.265/H.264 | 支持4K解码（如RK3399） |
| TI DaVinci | H.264/MPEG-4 | 工业级稳定性（如DM8148） |
| NXP i.MX | VPU加速 | 低功耗（如i.MX8M Plus） |
| Allwinner | H.264 | 低成本（如V3s） |三、嵌入式专用工具链
开源框架
|-----------|---------------|---------------|
| 名称 | 功能 | 适用场景 |
| GStreamer | 模块化音视频流水线 | 复杂多媒体处理（如树莓派） |
| FFmpeg | 裁剪版（禁用非必需模块） | 定制化需求 |
| Live555 | RTSP/RTP流媒体传输 | 网络摄像头 |商业解决方案
|------------|------------------|----------------|
| 名称 | 特点 | 典型客户 |
| Dolby MS12 | 杜比音效编解码 | 高端智能音箱 |
| ARM CMSIS | Cortex-M DSP优化库 | 低功耗MCU（如STM32） |
| Ittiam | H.265/AV1硬件优化SDK | 专业视频设备 |四、选型建议
资源受限设备（MCU级别）
音频：Opus（实时语音）或 libmad（MP3播放）。
视频：TinyH264（仅解码） + 硬件加速芯片（如ESP32-CAM）。
内存优化 ：启用固定点运算（如Opus的
FIXED_POINT模式）。中高端嵌入式（Linux SoC）
音频：GStreamer + ALSA插件（支持AAC/Opus）。
视频：FFmpeg裁剪版（保留H.264） + V4L2硬件加速。
示例命令（FFmpeg裁剪）：
./configure --disable-everything --enable-decoder=h264 --enable-parser=h264 --enable-demuxer=avi
实时性要求高的场景
协议栈：WebRTC（Opus/VP8） + UDP传输。
延迟优化：禁用B帧、降低GOP大小。
五、实战示例
STM32 + Opus编码
// 使用libopus在STM32上编码语音 include <opus.h> OpusEncoder *encoder = opus_encoder_create(16000, 1, OPUS_APPLICATION_VOIP, &error); uint8_t output[100]; int bytes = opus_encode(encoder, pcm_data, frame_size, output, 100);树莓派视频解码
使用GStreamer播放H.264流 gst-launch-1.0 udpsrc port=5000 ! application/x-rtp,encoding-name=H264 ! rtph264depay ! h264parse ! omxh264dec ! autovideosink
六、注意事项
许可协议：
- 避免GPL库（如FFmpeg完整版），优先选择MIT/LGPL（如libvpx）。
硬件兼容性：
- 确认芯片是否支持硬件编解码（如海思Hi3518EV300的H.264加速）。
功耗管理：
- 编码时动态调整CPU频率（如DVFS技术）。
总结
语音首选：Opus（实时）、Speex（老旧设备）。
视频首选：TinyH264（低端）、libvpx（中端）、硬件加速（高端）。
开发框架：GStreamer（灵活）或 FFmpeg裁剪（高效）。
根据具体需求平衡性能、资源和成本，优先利用硬件加速以降低CPU负载。