基于C#实现视频文件解封装与媒体流读取方案

基于C#实现视频文件解封装与媒体流读取方案，整合了FFmpeg.AutoGen和FFmpeg.NET两种主流库的实践方法：

---

一、技术选型对比

库名称	FFmpeg.AutoGen	FFmpeg.NET	优势对比
开发难度	中高	低	AutoGen需处理指针，NET封装更友好
功能完整性	完整	部分	AutoGen支持完整FFmpeg API
性能	高	中	AutoGen直接调用原生API
社区支持	活跃	一般	AutoGen更新频繁

---

二、FFmpeg.AutoGen实现方案

1. 环境配置

// NuGet安装
Install-Package FFmpeg.AutoGen

// 项目文件修改（.csproj）
<Project Sdk="Microsoft.NET.Sdk">
  <PropertyGroup>
    <TargetFrameworks>netstandard2.0;net45;net40</TargetFrameworks>
  </PropertyGroup>
</Project>

2. 核心解封装代码

using FFmpeg.AutoGen;
using System;
using System.IO;

public class VideoDemuxer : IDisposable
{
    private AVFormatContext* _formatContext;
    private AVCodecParameters* _videoCodecParams;
    private AVCodecContext* _videoCodecContext;

    public void Open(string filePath)
    {
        // 注册所有编解码器
        ffmpeg.av_register_all();

        // 打开输入文件
        if (ffmpeg.avformat_open_input(&_formatContext, filePath, null, null) != 0)
            throw new InvalidOperationException("无法打开文件");

        // 获取流信息
        if (ffmpeg.avformat_find_stream_info(_formatContext, null) < 0)
            throw new InvalidOperationException("无法获取流信息");

        // 查找视频流
        int videoStreamIndex = -1;
        for (int i = 0; i < _formatContext->nb_streams; i++)
        {
            if (_formatContext->streams[i]->codecpar->codec_type == AVMediaType.AVMEDIA_TYPE_VIDEO)
            {
                videoStreamIndex = i;
                _videoCodecParams = _formatContext->streams[i]->codecpar;
                break;
            }
        }

        if (videoStreamIndex == -1)
            throw new InvalidOperationException("未找到视频流");

        // 查找解码器
        AVCodec* codec = ffmpeg.avcodec_find_decoder(_videoCodecParams->codec_id);
        if (!codec)
            throw new InvalidOperationException("不支持的编解码器");

        // 创建解码器上下文
        _videoCodecContext = ffmpeg.avcodec_alloc_context3(codec);
        if (!ffmpeg.avcodec_parameters_to_context(_videoCodecContext, _videoCodecParams))
            throw new InvalidOperationException("参数复制失败");

        // 打开解码器
        if (ffmpeg.avcodec_open2(_videoCodecContext, codec, null) < 0)
            throw new InvalidOperationException("解码器初始化失败");
    }

    public unsafe AVPacket ReadFrame()
    {
        AVPacket* packet = ffmpeg.av_packet_alloc();
        if (ffmpeg.av_read_frame(_formatContext, packet) < 0)
            return null;

        return packet;
    }

    public void Dispose()
    {
        ffmpeg.avcodec_free_context(&_videoCodecContext);
        ffmpeg.avformat_close_input(&_formatContext);
    }
}

3. 使用示例

var demuxer = new VideoDemuxer();
demuxer.Open("input.mp4");

while (true)
{
    var packet = demuxer.ReadFrame();
    if (packet == null) break;

    // 处理视频帧数据（packet->data）
    Console.WriteLine($"PTS: {packet->pts}, DTS: {packet->dts}");

    ffmpeg.av_packet_unref(packet);
}

demuxer.Dispose();

---

三、FFmpeg.NET实现方案

1. 基础实现

using FFmpeg.NET;
using System.Threading.Tasks;

public class MediaProcessor
{
    private Engine _engine;

    public async Task AnalyzeMediaAsync(string inputPath)
    {
        _engine = new Engine("ffmpeg.exe");
        
        // 获取元数据
        var metadata = await _engine.GetMetadataAsync(inputPath);
        
        Console.WriteLine($"格式: {metadata.Format}");
        Console.WriteLine($"时长: {metadata.Duration} ms");
        Console.WriteLine($"视频流数: {metadata.VideoStreams.Count}");
    }

    public async Task ExtractVideoStreamAsync(string inputPath, string outputPath)
    {
        var inputFile = new MediaFile(inputPath);
        var outputFile = new MediaFile(outputPath);

        var options = new ConversionOptions
        {
            VideoStreamIndex = 0, // 选择第一个视频流
            Overwrite = true
        };

        await _engine.ConvertAsync(inputFile, outputFile, options);
    }
}

2. 高级功能

// 获取视频帧截图
public async Task<Bitmap> CaptureFrameAsync(string inputPath, TimeSpan position)
{
    var inputFile = new MediaFile(inputPath);
    var outputFile = new MediaFile("frame.jpg");
    
    var options = new ConversionOptions
    {
        Seek = position,
        VideoCodec = VideoCodec.Mjpeg,
        FrameRate = 1
    };

    await _engine.ConvertAsync(inputFile, outputFile, options);
    return new Bitmap(outputFile.Path);
}

---

四、关键流程解析

1. 解封装流程：

   • 注册编解码器 → 打开输入文件 → 读取流信息 → 查找目标流 → 创建解码器上下文 → 读取数据包

2. 媒体流读取：

• 通过AVPacket结构体获取时间戳、数据指针等信息

• 使用av_read_frame循环读取直到文件结束

• 处理不同类型的流（视频/音频/字幕）

参考代码 ffmpeg的C#版本，可以对视频文件进行解封装、读取媒体流文件等 www.youwenfan.com/contentcsr/112335.html

五、性能优化

1. 硬件加速：

   // 启用CUDA加速（需NVIDIA显卡）
   _videoCodecContext->hw_device_ctx = ffmpeg.av_hwdevice_ctx_alloc(AVHWDeviceType.AV_HWDEVICE_TYPE_CUDA);

2. 多线程处理：

   // 使用线程池处理数据包
   Parallel.ForEach(packetList, packet => 
   {
       ProcessPacket(packet);
   });

3. 内存管理：

   // 使用SafeHandle管理FFmpeg资源
   public class SafeAVPacketHandle : SafeHandle
   {
       public SafeAVPacketHandle(AVPacket* packet) : base(IntPtr.Zero, true) 
       {
           SetHandle((IntPtr)packet);
       }
   }

---

六、调试技巧

1. 日志输出：

   ffmpeg.av_log_set_level(AVLogLevel.AV_LOG_DEBUG);
   ffmpeg.av_log_set_callback((p, level, format, vl) => 
   {
       Console.WriteLine(FFmpegLog.GetLogMessage(level, format, vl));
   });

2. 错误处理：

   try
   {
       // FFmpeg操作
   }
   catch (FFmpegException ex)
   {
       Console.WriteLine($"FFmpeg错误: {ex.Message}");
   }

---

七、扩展应用场景

1. 实时流媒体处理：

   // 推流到RTMP服务器
   var output = new MediaFile("rtmp://server/live/stream");
   await _engine.ConvertAsync(inputFile, output, 
       new ConversionOptions { StreamType = StreamType.Live });

2. 视频元数据分析：

   var metadata = await _engine.GetMetadataAsync("input.mp4");
   var videoStream = metadata.VideoStreams.First();
   Console.WriteLine($"编码格式: {videoStream.Codec}");
   Console.WriteLine($"分辨率: {videoStream.Width}x{videoStream.Height}");

---

八、参考项目

1. FFmpeg.AutoGen：GitHub - Ruslan-B/FFmpeg.AutoGen

2. FFmpeg.NET：GitHub - cmxl/FFmpeg.NET

3. FFmpegSharp：GitHub - jstedfast/FFmpegSharp