
Unity口型插件
1、SALSA LipSync https://marketplace.unity.com/packages/package/148442
2、uLipSync
https://github.com/hecomi/uLipSync
效果令人不太满意
把NVIDIA的Audio2Face搬进Unity
1、一开始搞错了,把Audio2Emotion搬进去了......
2、再来,把Audio2Face搬进去了......怎么嘴歪眼斜的如此抽象
3、多个大模型,一顿修改,看起来可以了......
一些前置条件
1、要下载readme里的模型文件到StreamingAssets下
2、Packages里的onnxruntime-unity和onnxruntime-unity-cuda要安装,电脑要配置cuda和cudnn环境
一些问题
是的,全程没有手写代码,多个大模型轮番上阵。还有一些问题......
最后,视频效果
audio2face-unity
工程地址