webrtc源码走读（四）核心引擎层——视频引擎

1. 视频引擎概述

视频引擎是WebRTC核心模块之一，位于核心引擎层（位于API层和底层实现层之间），负责处理所有视频相关的事务。它集成了先进的视频处理技术，包括视频采集、编解码、图像增强、显示等，确保视频在实时通信中的高质量传输。

它包含以下关键组件：

视频采集：支持多种设备和格式
视频编解码：I420/VP8等编解码技术
视频图像处理：明暗度检测、颜色增强、降噪处理
视频显示：使用Direct3D9和DirectDraw在Windows平台显示视频
视频加密：提供数据安全保证

特别是VP8编解码器，是Google收购ON2后开源的，用在WebM项目中，能以更少的数据提供更高质量的视频，特别适合视频会议场景。

2. 关键源码文件及作用

视频引擎的核心代码位于webrtc/modules目录下，以下是关键文件及其作用：

2.1 视频采集 (Video Capture)

源码路径 ：webrtc/modules/video_capture/main/video_capture_impl.h

cpp 复制代码

// webrtc/modules/video_capture/main/video_capture_impl.h
// 视频采集实现接口
class VideoCaptureImpl : public VideoCaptureModule {
 public:
  // 创建视频采集实例
  static VideoCaptureModule* Create(
      const char* deviceUniqueId,
      int32_t deviceUniqueIdLength);
  
  // 初始化视频采集
  int32_t Init() override;
  
  // 开始采集
  int32_t StartCapture(const VideoCaptureCapability& capability) override;
  
  // 停止采集
  int32_t StopCapture() override;
  
  // 获取采集帧
  int32_t GetFrame(VideoFrame* video_frame) override;
};

作用：实现视频采集功能，支持多种平台（Windows使用DirectShow，Linux使用V4L2等），提供接口供上层调用。

关键细节：

在Windows平台上，WebRTC采用DirectShow技术实现视频设备枚举和数据采集
支持多种媒体格式：I420、YUY2、RGB、UYUY等
可进行帧大小和帧率控制

2.2 视频编解码 (Video Coding)

源码路径 ：webrtc/modules/video_coding/video_coding_impl.h

cpp 复制代码

// webrtc/modules/video_coding/video_coding_impl.h
// 视频编解码实现接口
class VideoCodingModuleImpl : public VideoCodingModule {
 public:
  // 创建视频编解码实例
  static VideoCodingModule* Create();
  
  // 初始化编解码
  int32_t Initialize() override;
  
  // 编码视频帧
  int32_t Encode(const VideoFrame& input_frame, 
                 const std::vector<VideoFrameType>* frame_types) override;
  
  // 解码视频帧
  int32_t Decode(const uint8_t* payload, 
                 size_t payload_length,
                 int64_t timestamp,
                 bool is_key_frame) override;
  
  // 设置编解码器参数
  int32_t SetCodecParameters(int32_t width, int32_t height, int32_t fps) override;
};

作用：实现视频编解码功能，支持VP8、VP9、H.264等编解码器，提供高效的视频压缩能力。

关键细节：

VP8是Google收购ON2后开源的编解码器，用在WebM项目中
VP8能以更少的数据提供更高质量的视频，特别适合视频会议
支持多种编码参数设置，如分辨率、帧率、码率等

2.3 视频图像处理 (Video Processing)

源码路径 ：webrtc/modules/video_processing/video_processing_impl.h

cpp 复制代码

// webrtc/modules/video_processing/video_processing_impl.h
// 视频图像处理实现接口
class VideoProcessingImpl : public VideoProcessing {
 public:
  // 创建视频处理实例
  static VideoProcessing* Create();
  
  // 初始化视频处理
  int32_t Initialize() override;
  
  // 处理视频帧
  int32_t ProcessFrame(const VideoFrame* input_frame,
                       VideoFrame* output_frame) override;
  
  // 设置图像处理参数
  int32_t SetBrightness(int32_t brightness) override;
  int32_t SetContrast(int32_t contrast) override;
  int32_t SetSaturation(int32_t saturation) override;
};

作用：实现视频图像处理功能，包括明暗度检测、颜色增强、降噪处理等，提升视频质量。

关键细节：

针对每一帧的图像进行处理
明暗度检测：调整视频亮度
颜色增强：提升色彩饱和度
降噪处理：减少视频噪点

2.4 视频显示 (Video Render)

源码路径 ：webrtc/modules/video_render/video_render_impl.h

cpp 复制代码

// webrtc/modules/video_render/video_render_impl.h
// 视频显示实现接口
class VideoRenderImpl : public VideoRenderer {
 public:
  // 创建视频显示实例
  static VideoRenderer* Create();
  
  // 初始化视频显示
  int32_t Init() override;
  
  // 设置显示窗口
  int32_t SetWindow(void* window) override;
  
  // 显示视频帧
  int32_t RenderFrame(int32_t id, const VideoFrame* video_frame) override;
  
  // 释放资源
  int32_t Release() override;
};

作用：实现视频显示功能，在Windows平台使用Direct3D9和DirectDraw显示视频，提供高效的视频渲染能力。

关键细节：

在Windows平台，WebRTC采用Direct3D9和DirectDraw显示视频
提供了高效的视频渲染API
支持多窗口显示和视频缩放

2.5 视频加密 (Video Encryption)

源码路径 ：webrtc/modules/video_engine_encryption/video_engine_encryption_impl.h

cpp 复制代码

// webrtc/modules/video_engine_encryption/video_engine_encryption_impl.h
// 视频加密实现接口
class VideoEngineEncryptionImpl : public VideoEngineEncryption {
 public:
  // 创建视频加密实例
  static VideoEngineEncryption* Create();
  
  // 初始化加密
  int32_t Initialize() override;
  
  // 加密视频帧
  int32_t Encrypt(const VideoFrame* input_frame, 
                  VideoFrame* output_frame) override;
  
  // 解密视频帧
  int32_t Decrypt(const VideoFrame* input_frame, 
                  VideoFrame* output_frame) override;
  
  // 设置加密密钥
  int32_t SetKey(const uint8_t* key, size_t key_length) override;
};

作用：实现视频加密功能，为点对点视频提供数据安全保证，密钥由视频双方协商。

关键细节：

视频加密是WebRTC video_engine的一部分
在发送端和接收端进行加解密视频数据
密钥由视频双方协商
加密数据源可能是原始数据流或编码后的数据流
会增加视频数据处理的性能开销

2.6 视频媒体文件 (Media File)

源码路径 ：webrtc/modules/media_file/media_file_impl.h

cpp 复制代码

// webrtc/modules/media_file/media_file_impl.h
// 视频媒体文件处理接口
class MediaFileImpl : public MediaFile {
 public:
  // 创建媒体文件实例
  static MediaFile* Create();
  
  // 初始化媒体文件
  int32_t Init() override;
  
  // 打开媒体文件
  int32_t Open(const char* file_name, FileFormat format) override;
  
  // 关闭媒体文件
  int32_t Close() override;
  
  // 读取媒体帧
  int32_t ReadFrame(VideoFrame* video_frame) override;
  
  // 写入媒体帧
  int32_t WriteFrame(const VideoFrame* video_frame) override;
};

作用：实现视频媒体文件处理功能，可以用本地文件作为视频源或录制音视频到本地文件。

关键细节：

可以用本地文件作为视频源，类似虚拟摄像头
支持AVI格式
可以录制音视频到本地文件

3. 视频引擎在整个系统中的作用

视频引擎在WebRTC架构中扮演着关键角色：

视频质量保障：通过VP8等编解码技术、图像增强和降噪处理提升视频质量
带宽优化：通过高效的视频编解码算法优化带宽使用，适应不同网络条件
实时处理：处理视频数据的实时性，确保低延迟通信
平台兼容性：提供跨平台的视频处理能力，支持Windows、Linux、macOS、Android、iOS等
安全传输：通过视频加密保证数据安全，防止视频数据在传输过程中被窃取

从知识库[3]中可以了解到，WebRTC在视频编码方面采用VP8、VP9和H.264，VP8具有较高的压缩效率和较好的兼容性，VP9在VP8的基础上进一步提升了压缩比，能够在更低的码率下提供更高质量的视频。

4. 与其他模块的交互

4.1 与媒体引擎（MediaEngine）的交互

核心引擎层视频引擎媒体引擎核心引擎层视频引擎媒体引擎获取视频数据传递原始视频数据处理视频（采集、编解码、图像处理）返回处理后的视频数据返回处理后的视频数据

交互细节：

媒体引擎负责视频数据的采集和渲染
视频引擎负责对采集的视频数据进行处理
视频引擎通过VideoCaptureImpl获取原始视频帧
通过VideoCodingModuleImpl进行视频编解码
通过VideoProcessingImpl进行图像处理
通过VideoRenderImpl进行视频显示

4.2 与网络传输模块的交互

核心引擎层视频引擎网络传输模块核心引擎层视频引擎网络传输模块编码后的视频数据发送编码后的视频数据接收编码后的视频数据传递接收的视频数据解码并处理视频数据返回处理后的视频数据

交互细节：

视频引擎将处理后的视频数据交给网络传输模块进行发送
网络传输模块使用RTP/RTCP协议进行视频数据传输
接收到视频数据后，网络传输模块将数据传递给视频引擎
视频引擎进行视频解码和图像处理
处理后的视频数据返回给媒体引擎进行显示

4.3 与ICE/STUN模块的交互

核心引擎层视频引擎 ICE/STUN模块核心引擎层视频引擎 ICE/STUN模块获取网络信息返回网络信息传递网络信息优化视频传输

交互细节：

视频引擎通过ICE/STUN获取网络信息
ICE/STUN提供NAT穿透能力，获取设备的公网IP/端口
视频引擎根据网络条件优化视频传输参数
确保在不同网络条件下都能获得良好的视频体验