在 C/C++ 开发中，处理音频和视频需要依赖专业的库来实现编解码、播放、录制、处理等功能。
一.音频库（C/C++）
1.FFmpeg（音频 + 视频全能库）
功能：
支持几乎所有音频 / 视频格式的编解码（如 MP3、AAC、WAV、FLAC、H.264、VP9 等）。
提供音频重采样、混音、降噪、格式转换等处理功能。
支持流媒体协议（如 RTMP、HTTP）和直播处理。
特点：
跨平台（Windows/macOS/Linux），开源（LGPL/GPL 协议）。
功能极其强大，但 API 复杂，学习门槛较高。
用途：
多媒体播放器（如 VLC）、视频编辑软件、直播平台、音视频服务器等。
2.libsndfile
功能：
专注于音频文件的读写，支持多种格式（WAV、FLAC、OGG、AIFF 等）。
提供音频数据的基本操作（如读取采样点、调整音量等）。
特点：
轻量级，接口简洁，适合快速读取音频数据。
开源（LGPL 协议），跨平台。
用途：
音频数据分析、音频处理工具、教育类音频项目等。
官网：http://www.mega-nerd.com/libsndfile
3.PortAudio
功能：
跨平台音频 I/O 库，支持录音和播放（低延迟实时处理）。
提供统一的 API 访问不同平台的音频设备（如麦克风、扬声器）。
特点：
专注于实时音频，支持多通道、多设备管理。
开源（MIT 协议），适合实时音频应用（如语音识别、音频监控）。
用途：
实时音频处理（如音频效果器、语音聊天软件）、音频采集工具。
4.SoundTouch
功能：
音频时间拉伸和音高调整（变调不变速，或变速不变调）。
支持 WAV、MP3 等格式的处理。
特点：
算法高效，音质较好，适合音乐处理。
开源（LGPL 协议），C++ 实现，可集成到 C 项目中。
用途：
音乐编辑软件、音频特效开发、游戏音效调整。
官网：https://www.surina.net/soundtouch
5.SDL2_mixer（基于 SDL2）
功能：
简单音频播放库，支持多种格式（MP3、WAV、OGG 等）。
提供基本的音效控制（音量、循环播放、3D 音效等）。
特点：
轻量级，适合游戏或简单多媒体项目。
依赖 SDL2 库，跨平台（Windows/macOS/Linux/ 移动端）。
用途：
游戏开发中的音效管理、简易音频播放器。
官网：https://www.libsdl.org/projects/SDL_mixer
6.SoX（Sound eXchange）
定位：命令行音频处理工具，支持格式转换、效果处理（均衡器、混响、变速）。
特点：轻量高效，适合脚本化批量处理，如音频数据集预处理。
示例：调整音量并转换格式：sox input.wav output.mp3 gain -6。
二.视频库（C/C++）
1.FFmpeg（同上，视频核心库）
功能：
视频编解码（H.264、H.265、VP8/VP9、AV1 等）、格式转换、视频剪辑、滤镜处理（如缩放、旋转、水印）。
特点：
包含 libavcodec（编解码核心）、libavformat（格式处理）、libavfilter（滤镜）等模块。
需配合其他库（如 SDL、Qt）实现播放界面。
用途：
视频播放器、视频编辑器、转码工具、流媒体服务器。
2.OpenCV（计算机视觉库，含视频处理）
功能：
视频帧读取、处理（如目标检测、图像分割、特征提取）。
支持摄像头实时捕获和视频文件解析。
特点：
专注于计算机视觉，提供丰富的图像处理算法。
跨平台，开源（BSD 协议），社区活跃。
用途：
视频分析（如安防监控、自动驾驶）、计算机视觉研究、视频特效开发。
3.libvpx（VP8/VP9 编解码）
功能：
实现 VP8 和 VP9 视频编码标准（高效压缩，适合网络传输）。
是 WebM 格式的核心库之一。
特点：
开源（BSD 协议），由 Google 维护，适合高清视频流（如 YouTube）。
可配合 FFmpeg 使用，或独立集成到项目中。
用途：
视频流媒体、视频会议软件（如 WebRTC）、高清视频存储。
官网：https://www.webmproject.org/code
4.libavif（AVIF 图像 / 视频编码）
功能：
实现 AVIF（AV1 图像格式）编解码，支持高压缩比的静态图像和视频帧。
特点：
基于 AV1 标准，压缩效率优于 JPEG、PNG、WebP。
适合需要高质量、低码率的场景（如网页图片、视频缩略图）。
用途：
图像和视频帧的高效存储与传输。
5.Qt Multimedia（基于 Qt 框架）
功能：
提供高层 API 实现视频播放、录制、编解码（依赖 FFmpeg 或系统原生组件）。
支持跨平台的视频界面开发（如窗口、控件）。
特点：
集成 Qt 界面框架，适合快速开发带 GUI 的视频应用。
开源（LGPL 协议），商业友好。
用途：
跨平台视频播放器、教育类视频软件、企业级多媒体工具。
官网：https://doc.qt.io/qt-6/qtmultimedia-module.html
6.GStreamer
定位：基于插件架构的开源多媒体框架，通过 "管道"（Pipeline）模型处理数据流。
特点：
模块化设计，支持动态插件加载（如编解码、特效、流媒体协议）。
适合构建复杂的多媒体处理流程，如实时视频分析、多源混音。
应用场景：视频会议系统（Jami）、车载多媒体（Android Automotive）、工业视觉检测。
三.流媒体与实时通信
1. WebRTC（Web Real-Time Communication）
定位：浏览器原生支持的实时通信框架，实现音视频直播、视频通话、P2P 传输。
核心技术：
支持 H.264、VP8/VP9 视频编码，Opus 音频编码。
集成 NAT 穿透（STUN/TURN）、带宽自适应、前向纠错（FEC）。
特点：纯前端实现，无需插件，适合 Web 端实时应用。
应用场景：视频会议（Zoom、Google Meet）、直播连麦、在线教育平台。
2. Live555
定位：C++ 编写的开源流媒体框架，支持 RTSP/RTP/RTCP 协议。
特点：轻量高效，适合构建 RTSP 服务器或客户端，但学习曲线较陡。
应用场景：安防监控（摄像头 RTSP 流接入）、工业设备数据传输。
四.RTSP服务器构建
1.Live555
特点：
历史悠久、应用广泛的开源流媒体框架，支持 RTSP/RTP/RTCP 协议。
纯 C++ 实现，提供完整的服务器和客户端组件。
支持多种音视频编码（H.264、H.265、AAC 等）和传输模式（UDP、TCP、组播）。
优势：
轻量级，适合资源受限的嵌入式设备（如 IP 摄像头）。
社区活跃，文档丰富，有大量示例代码。
劣势：
API 设计复杂，学习曲线陡峭。
缺乏现代 C++ 特性（如多线程、异步 I/O），需手动管理内存。
应用场景：
IP 摄像头、视频监控系统、嵌入式流媒体设备。
2.GStreamer
特点：
基于插件的多媒体框架，通过gstrtspserver插件实现 RTSP 服务器功能。
支持动态构建媒体管道（如：摄像头 → 编码 → RTSP 流）。
优势：
与 GStreamer 生态无缝集成，可快速搭建复杂流媒体处理链。
支持硬件加速（如 NVIDIA、Intel 编解码器）。
劣势：
依赖 GStreamer 庞大的库，不适合极简部署。
性能略低于直接使用 Live555（因中间层开销）。
应用场景：
多媒体服务器、直播平台、视频会议系统。
官网：https://gstreamer.freedesktop.org
3.libVLC (基于 VLC)
特点：
VLC 媒体播放器的后端库，支持 RTSP 服务器功能。
通过简单 API 实现媒体流发布。
优势：
开箱即用，支持几乎所有音视频格式。
跨平台（Windows/macOS/Linux/ 嵌入式）。
劣势：
库体积庞大（约 100MB），不适合轻量级应用。
定制化能力有限，难以深入控制底层协议。
应用场景：
快速原型开发、桌面端流媒体服务器。
官网：https://www.videolan.org/vlc/libvlc.html
五.RTSP客户端构建
1.Live555（同上）
特点：
提供 RTSP 客户端实现，支持连接 RTSP 服务器并接收音视频流。
优势：
底层协议实现完整，支持 RTP 包解析和音视频同步。
劣势：
需手动处理音视频解码和渲染，开发复杂度高。
2.FFmpeg
特点：
通过libavformat和libavcodec支持 RTSP 客户端功能。
可直接解码 RTSP 流并输出原始音视频帧。
优势：
与 FFmpeg 生态无缝集成，可快速实现转码、录制等功能。
支持硬件加速解码（如 NVIDIA CUDA、Intel QSV）。
劣势：
对 RTSP 协议细节控制较弱（如难自定义 RTSP 信令流程）。
应用场景：
RTSP 流接收、转码（如推送到 RTMP 服务器）、录制。
3.GStreamer（同上）
特点：
通过gst-rtsp-client插件实现 RTSP 客户端功能。
支持构建接收 → 解码 → 渲染的完整管道。
优势：
事件驱动模型，适合实时处理（如视频会议）。
支持动态切换媒体源和码率。
劣势：
依赖较多，部署复杂度高。