FFMPEG 之 DXVA2 硬解

一：FFMPEG 支持的硬解方式有很多：

DXVA2、D3D11VA、CUDA、QSV、OPENCL、DRM、VAAPI、VDPAU、VIDEOTOOLBOX、MEDIACODEC。

有的支持 Windows 平台，有的支持 linux 平台，有的支持 apple ios 平台，有的支持 android 平台。

二：Windows 平台，我们可以使用利用 DXVA2、DX11、OpenGL、Vulkan、等技术，直接显示 GPU 显卡中的数据。

FFPLAY 最新源码，使用 Vulkan 的方式来进行硬解加速渲染的。

为什么使用 Vulkan ？

A：Vulkan 跨平台；

B：Vulkan 可以做渲染；

C：Vulkan 可以做计算，做图像处理；

D：Vulkan 可以做视频解码编码；

E：Vulkan 可以和 CUDA、DRM、VAAPI 互操作；

三：使用 DXVA2 硬解加速渲染：

没有了内存复制(av_hwframe_transfer_data)。

没有了sws_scale 解码到图片也。

界面绘制由原来的 GDI 绘制，变成了 DX 绘制。

非常之高效。

四：Windows 操作系统支持 DXVA2 方式硬解。

DXVA2 封装了显卡解码。你就不用操心不同显卡了。

这也是为什么网上介绍硬解时，大多数是介绍 DXVA2 方式硬解。

当然，如果你的显卡不支持某种格式视频（H265 格式视频）的硬解，即使你使用 DXVA2 硬解，那也是行不通的。

五：Windows 操作系统支持 DXVA2 方式硬解。

不使用 FFMPEG 也是可以的。按照 DXVA2 的规范写就可以了。当然这不在本文讨论范围内。

感兴趣的可以参看：https://github.com/mofo7777/H264Dxva2Decoder.git

六：我们只要在 FFMPEG 硬解示例程序的基础上，修改硬解方式为 dxva2，就 OK 了。

其它不用作任何修改。就是 DXVA2 硬解码了。

当然我们的目的是使用 DX 的方式来渲染图像。

七：这个 DX 渲染函数很关键。

网上绝大多数的代码，都是将 hwcontext_dxva2.c 代码从 FFMPEG 源代码复制出来，

添加到自己的代码中，并改写为 ffmpeg_dxva2.cpp 。

其实完全没有这个必要。而且这种方式肯定也是不可取的。

而且我相信 FFMPEG 的源代码作者肯定也不想你这么干。

我使用的方法，适用于所有语言。

20 行的代码就可以完成 DX 绘制了。更具有通用性。

八：DX 渲染函数原理：

1：用户在调用 av_hwdevice_ctx_create 函数，初始化硬件加速上下文时，

会调用 hwcontext.c 的 av_hwdevice_ctx_create 函数进行 DXVA2 的初始化。

av_hwdevice_ctx_create(hwcontext.c) 初始化成功后，将设备上下文信息保存在 data 里面，返回给了调用者；

2：av_hwdevice_ctx_create(hwcontext.c) 会进行 DXVA2 的创建。

ret = device_ctx->internal->hw_type->device_create(device_ctx, device, opts, flags);

这里将调用 hwcontext_dxva2.c 的 dxva2_device_create 函数进行 DXVA2 的初始化。

创建成功后，将 DX 设备信息保存在设备上下文信息的 user_opaque 里面，返回给了调用者。

3：至此，我们可以拿到：设备上下文信息、DX 设备信息。可以直接进行 DX 界面绘制了。

九：测试发现：解码效率比网上那些复制改写 hwcontext_dxva2.c 的程序，快了将近 200 多帧。果然高效！！！

十：核心代码及其说明:

cpp 复制代码

while ((ret = avcodec_receive_frame(videoCodecCtx, Frame)) >= 0) 
{
    ......
    
    surface    = (LPDIRECT3DSURFACE9)Frame->data[3];                     // 待绘制的数据
    device_ctx = (AVHWDeviceContext*)videoCodecCtx->hw_device_ctx->data; // 设备上下文信息
    priv       = (DXVA2DevicePriv*)device_ctx->user_opaque;              // DX 设备信息

    ......

    /* 开始 DX 渲染 */
    priv->d3d9device->Clear(0, NULL, D3DCLEAR_TARGET, D3DCOLOR_XRGB(0, 0, 0), 1.0f, 0);
    priv->d3d9device->GetBackBuffer(0, 0, D3DBACKBUFFER_TYPE_MONO, &BackBuffer);
    RECT SourceRect = { 0, 0, videoCodecCtx->width, videoCodecCtx->height };
    priv->d3d9device->StretchRect(surface, &SourceRect, BackBuffer, NULL, D3DTEXF_LINEAR);
    priv->d3d9device->Present(NULL, NULL, NULL, NULL);

    ......
}