ffmpeg 硬件解码零拷贝unity 播放

ffmpeg硬件解码问题

ffmpeg 在硬件解码,一般来说,我们解码使用cuda方式,当然,最好的方式是不要确定一定是cuda,客户的显卡不一定有cuda,windows 下,和linux 下要做一些适配工作,最麻烦的不是这个,二是ffmpeg解码后,颜色空间的转换,如果使用cuda,那么可以使用cuda去在gpu中直接转码,如果没有cuda,那么我们希望的是不要转颜色空间。

ffmpeg 硬件解码相信下面这一段代码是大家比较熟悉的

c 复制代码
if (frame->format == hw_pix_fmt) {
	/* retrieve data from GPU to CPU */
	sw_frame->format = sourcepf; // AV_PIX_FMT_NV12;
	//if ((ret = av_hwframe_transfer_data(sw_frame, frame, 0)) < 0) {
	if ((ret = av_hwframe_map(sw_frame, frame, 0)) < 0) {
	fprintf(stderr, "Error transferring the data to system memory\n");
		av_frame_free(&frame);
		av_frame_free(&sw_frame);
		return -1;
	}
	tmp_frame = sw_frame;
}
else
{
	tmp_frame = frame;
}

如下我们在解码的时候,gpu 一个tesla p40 都占用了42%,实际上是unity渲染占用

打开tesla p40 的decode,实际上并不多,间歇会有一个峰值,后来稳定在7% 左右,p40的显存不小,但是解码其实不如3080这种gpu。

回过头来说ffmpeg 函数,av_hwframe_map 函数直接把gpu显存中的数据映射到内存,并且颜色转换从cuda到nv12,实际上cuda中的颜色就是nv12,只是把数据下载到了内存,这个过程是避免不了的,如果我们希望三维软件或者opencv 直接识别这个内存数据,显然是最好是rgb24,或者bgr24 这种颜色空间,那么问题就是

我们熟悉的swscale 函数颜色转换还是比较消耗cpu,那么我们应该怎么做才是最合适的方法

2 最合适的方法

应该是 ffmpeg transfer到内存后,不转换,直接使用三维软件使用shader来转变颜色空间,当然这肯定又是一次内存到显存的上载,但这个也是避免不了的。

2.1 拷贝

使用用户空间自己的内存直接给ffmpeg 的av_hwframe_map 函数 ,让ffmpeg下载时到用户空间指定的内存地址。

2.2 显示

使用shader 显示nv12

c 复制代码
Shader"draw/s1"
{
    Properties 
	{
		_MainTex ("Y", 2D) = "white" {}
		_MainTexUV ("UV", 2D) = "white" {}
	}
    SubShader
    {
     Lighting Off
     Pass{
        CGPROGRAM

        sampler2D _MainTex;
        sampler2D _MainTexUV;

#pragma vertex vert

#pragma fragment frag
        struct appdata
        {
            float4 vertex : POSITION;
            float2 uv : TEXCOORD0;
        };
        struct v2f
        {
            float2 uv : TEXCOORD0;
            float4 vertex : SV_POSITION;
        };
        //float4 vert(float4 v : POSITION) : SV_Position
        //{
        //    return UnityObjectToClipPos(v);
        //}
        v2f vert(appdata v)
        {
            v2f o;
            o.vertex = UnityObjectToClipPos(v.vertex);
            o.uv = v.uv;
            return o;
        }

    //    fixed4 frag(v2f i):SV_Target
    //    {
    1 - i.uv.y 左右镜像
    //        fixed2 uv = fixed2(i.uv.x, 1 - i.uv.y);
    //        fixed4 ycol = tex2D(_MainTex, uv);
    //        fixed4 uvcol = tex2D(_MainTexUV, uv);
    //        float y = ycol.r;
    //        float v = uvcol.r - 0.5;
    //        float u = uvcol.g - 0.5;
    //        float r = y + 1.370705 * v;
    //        float g = y - 0.337633 * u - 0.698001 * v;
    //        float b = y + 1.732446 * u;
    //        return fixed4(r,g,b, 1.0);
    //    }
        fixed4 frag(v2f i) : SV_Target
        {
            fixed4 col;
            float y = tex2D(_MainTex, i.uv).a;
            fixed4 uvs = tex2D(_MainTexUV, i.uv);
            float u = uvs.r - 0.5;
            float v = uvs.g - 0.5;
            float r = y + 1.403 * v;
            float g = y - 0.344 * u - 0.714 * v;
            float b = y + 1.770 * u;
            col.rgba = float4(r, g, b, 1.0f);
            return col;
        }
        ENDCG
        }
    }
    FallBack "VertexLit"
}

这已经是目前最快的方法了

其他问题

其他就是怎么直接把显存给pytorch 了,这个也是比较重要的,下次再说吧

相关推荐
Sitarrrr1 小时前
【Unity】ScriptableObject的应用和3D物体跟随鼠标移动:鼠标放置物体在场景中
3d·unity
极梦网络无忧1 小时前
Unity中IK动画与布偶死亡动画切换的实现
unity·游戏引擎·lucene
EasyCVR2 小时前
萤石设备视频接入平台EasyCVR多品牌摄像机视频平台海康ehome平台(ISUP)接入EasyCVR不在线如何排查?
运维·服务器·网络·人工智能·ffmpeg·音视频
runing_an_min2 小时前
ffmpeg 视频滤镜:屏蔽边框杂色- fillborders
ffmpeg·音视频·fillborders
逐·風9 小时前
unity关于自定义渲染、内存管理、性能调优、复杂物理模拟、并行计算以及插件开发
前端·unity·c#
_oP_i11 小时前
Unity Addressables 系统处理 WebGL 打包本地资源的一种高效方式
unity·游戏引擎·webgl
岁月小龙13 小时前
如何让ffmpeg运行时从当前目录加载库,而不是从/lib64
ffmpeg·origin·ffprobe·rpath
代码盗圣14 小时前
GODOT 4 不用scons编译cpp扩展的方法
游戏引擎·godot
Leoysq20 小时前
【UGUI】实现点击注册按钮跳转游戏场景
游戏·unity·游戏引擎·ugui
PandaQue21 小时前
《潜行者2切尔诺贝利之心》游戏引擎介绍
游戏引擎