Unity使用NVIDIA的Audio2Face驱动口型

Unity口型插件

1、SALSA LipSync https://marketplace.unity.com/packages/package/148442

2、uLipSync

https://github.com/hecomi/uLipSync

效果令人不太满意

把NVIDIA的Audio2Face搬进Unity

1、一开始搞错了,把Audio2Emotion搬进去了......

2、再来,把Audio2Face搬进去了......怎么嘴歪眼斜的如此抽象

3、多个大模型,一顿修改,看起来可以了......

一些前置条件

1、要下载readme里的模型文件到StreamingAssets下

2、Packages里的onnxruntime-unity和onnxruntime-unity-cuda要安装,电脑要配置cuda和cudnn环境

一些问题

是的,全程没有手写代码,多个大模型轮番上阵。还有一些问题......

最后,视频效果

audio2face-unity

工程地址

https://github.com/xue-fei/audio2face-unity

相关推荐
ebiobiz3 小时前
STM32F4 Unity 单元测试与多次测试失败率统计详细步骤
stm32·unity·单元测试
一线灵8 小时前
跨平台游戏引擎 Axmol-2.11.5 发布
游戏引擎·lua
淡海水8 小时前
16-01-C#数据结构源码-附录A-术语表
unity·c#·游戏引擎·il2cpp
淡海水9 小时前
16-03-C#数据结构源码-附录C-参考资源
unity·c#·游戏引擎·il2cpp
天神哥哥啊10 小时前
unity联调注意事项-安卓
android·unity·游戏引擎
天神哥哥啊10 小时前
unity联调注意事项-IOS
unity·ios·游戏引擎
可爱系程序猿21 小时前
Unity 材质预览才弹 d3dcompiler_47.dll?先分清编辑器 SDK、着色器缓存和玩家包
程序人生·3d·unity·电脑·材质
xcLeigh1 天前
Unity基础:使用Transform控制物体缩放——localScale与lossyScale的区别
unity·游戏引擎·教程
郝学胜-神的一滴1 天前
游戏引擎原理与实践 01:聊聊游戏引擎的前世今生
开发语言·c++·游戏引擎·产品运营·软件工程·产品经理·untiy