Unity使用NVIDIA的Audio2Face驱动口型

Unity口型插件

1、SALSA LipSync https://marketplace.unity.com/packages/package/148442

2、uLipSync

https://github.com/hecomi/uLipSync

效果令人不太满意

把NVIDIA的Audio2Face搬进Unity

1、一开始搞错了,把Audio2Emotion搬进去了......

2、再来,把Audio2Face搬进去了......怎么嘴歪眼斜的如此抽象

3、多个大模型,一顿修改,看起来可以了......

一些前置条件

1、要下载readme里的模型文件到StreamingAssets下

2、Packages里的onnxruntime-unity和onnxruntime-unity-cuda要安装,电脑要配置cuda和cudnn环境

一些问题

是的,全程没有手写代码,多个大模型轮番上阵。还有一些问题......

最后,视频效果

audio2face-unity

工程地址

https://github.com/xue-fei/audio2face-unity

相关推荐
WarPigs2 天前
Unity无法修改Assembly-CSharp.csproj错误
unity
FairGuard手游加固2 天前
手游加固怎么做?SO、IL2CPP、AssetBundle 与运行时保护详解
安全·游戏·unity
阿松爱学习3 天前
【Unity开发】监听Scene场景事件
unity·c#
xiaogai_gai4 天前
BOM 物料清单同步实战:金蝶云星空 → 四化智造 MES 修改场景深度拆解
unity·游戏引擎
淡海水4 天前
03-03-架构篇-SGen GC架构解析
unity·架构·c#·gc·sgen
/**书香门第*/4 天前
Cocos Creator 打螺丝游戏的实现
游戏引擎·cocos2d·螺丝·打螺丝
萌萌的提莫队长5 天前
Unity相机捕捉,图像识别,抠像+合成
opencv·unity
mxwin5 天前
Unity Shader 光线追踪原理与实战案例
unity·游戏引擎
地狱为王6 天前
Unity使用DPDFNet实现实时语音增强(降噪)
unity·语音增强·降噪·dpdfnet
平行云PVT6 天前
国产信创实时云渲染解决方案:如何实现数字孪生与三维应用云化部署?
unity·webrtc·unreal engine·实时云渲染·国产信创·摩尔线程·砺算科技